(nnimap-request-newgroups): Use the pattern in
[gnus] / lisp / nnimap.el
1 ;;; nnimap.el --- imap backend for Gnus
2 ;; Copyright (C) 1998, 1999, 2000, 2001, 2002, 2003
3 ;;        Free Software Foundation, Inc.
4
5 ;; Author: Simon Josefsson <jas@pdc.kth.se>
6 ;;         Jim Radford <radford@robby.caltech.edu>
7 ;; Keywords: mail
8
9 ;; This file is part of GNU Emacs.
10
11 ;; GNU Emacs is free software; you can redistribute it and/or modify
12 ;; it under the terms of the GNU General Public License as published by
13 ;; the Free Software Foundation; either version 2, or (at your option)
14 ;; any later version.
15
16 ;; GNU Emacs is distributed in the hope that it will be useful,
17 ;; but WITHOUT ANY WARRANTY; without even the implied warranty of
18 ;; MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
19 ;; GNU General Public License for more details.
20
21 ;; You should have received a copy of the GNU General Public License
22 ;; along with GNU Emacs; see the file COPYING.  If not, write to the
23 ;; Free Software Foundation, Inc., 59 Temple Place - Suite 330,
24 ;; Boston, MA 02111-1307, USA.
25
26 ;;; Commentary:
27
28 ;; Todo, major things:
29 ;;
30 ;;   o Fix Gnus to view correct number of unread/total articles in group buffer
31 ;;   o Fix Gnus to handle leading '.' in group names (fixed?)
32 ;;   o Finish disconnected mode (moving articles between mailboxes unplugged)
33 ;;   o Sieve
34 ;;   o MIME (partial article fetches)
35 ;;   o Split to other backends, different split rules for different
36 ;;     servers/inboxes
37 ;;
38 ;; Todo, minor things:
39 ;;
40 ;;   o Don't require half of Gnus -- backends should be standalone
41 ;;   o Verify that we don't use IMAP4rev1 specific things (RFC2060 App B)
42 ;;   o Dont uid fetch 1,* in nnimap-retrive-groups (slow)
43 ;;   o Split up big fetches (1,* header especially) in smaller chunks
44 ;;   o What do I do with gnus-newsgroup-*?
45 ;;   o Tell Gnus about new groups (how can we tell?)
46 ;;   o Respooling (fix Gnus?) (unnecessary?)
47 ;;   o Add support for the following: (if applicable)
48 ;;       request-list-newsgroups, request-regenerate
49 ;;       list-active-group,
50 ;;       request-associate-buffer, request-restore-buffer,
51 ;;   o Do The Right Thing when UIDVALIDITY changes (what's the right thing?)
52 ;;   o Support RFC2221 (Login referrals)
53 ;;   o IMAP2BIS compatibility? (RFC2061)
54 ;;   o ACAP stuff (perhaps a different project, would be nice to ACAPify
55 ;;     .newsrc.eld)
56 ;;   o What about Gnus's article editing, can we support it?  NO!
57 ;;   o Use \Draft to support the draft group??
58 ;;   o Duplicate suppression
59 ;;   o Rewrite UID SEARCH UID X as UID FETCH X (UID) for those with slow servers
60
61 ;;; Code:
62
63 (require 'imap)
64 (require 'nnoo)
65 (require 'nnmail)
66 (require 'nnheader)
67 (require 'mm-util)
68 (require 'gnus)
69 (require 'gnus-range)
70 (require 'gnus-start)
71 (require 'gnus-int)
72
73 (eval-when-compile (require 'cl))
74
75 (nnoo-declare nnimap)
76
77 (defconst nnimap-version "nnimap 1.0")
78
79 (defgroup nnimap nil
80   "Reading IMAP mail with Gnus."
81   :group 'gnus)
82
83 (defvoo nnimap-address nil
84   "Address of physical IMAP server.  If nil, use the virtual server's name.")
85
86 (defvoo nnimap-server-port nil
87   "Port number on physical IMAP server.
88 If nil, defaults to 993 for TLS/SSL connections and 143 otherwise.")
89
90 ;; Splitting variables
91
92 (defcustom nnimap-split-crosspost t
93   "If non-nil, do crossposting if several split methods match the mail.
94 If nil, the first match found will be used."
95   :group 'nnimap
96   :type 'boolean)
97
98 (defcustom nnimap-split-inbox nil
99   "Name of mailbox to split mail from.
100
101 Mail is read from this mailbox and split according to rules in
102 `nnimap-split-rule'.
103
104 This can be a string or a list of strings."
105   :group 'nnimap
106   :type '(choice (string)
107                  (repeat string)))
108
109 (define-widget 'nnimap-strict-function 'function
110   "This widget only matches values that are functionp.
111
112 Warning: This means that a value that is the symbol of a not yet
113 loaded function will not match.  Use with care."
114   :match 'nnimap-strict-function-match)
115
116 (defun nnimap-strict-function-match (widget value)
117   "Ignoring WIDGET, match if VALUE is a function."
118   (functionp value))
119
120 (defcustom nnimap-split-rule nil
121   "Mail will be split according to these rules.
122
123 Mail is read from mailbox(es) specified in `nnimap-split-inbox'.
124
125 If you'd like, for instance, one mail group for mail from the
126 \"gnus-imap\" mailing list, one group for junk mail and leave
127 everything else in the incoming mailbox, you could do something like
128 this:
129
130 \(setq nnimap-split-rule '((\"INBOX.gnus-imap\"   \"From:.*gnus-imap\")
131                           (\"INBOX.junk\"        \"Subject:.*buy\")))
132
133 As you can see, `nnimap-split-rule' is a list of lists, where the
134 first element in each \"rule\" is the name of the IMAP mailbox (or the
135 symbol `junk' if you want to remove the mail), and the second is a
136 regexp that nnimap will try to match on the header to find a fit.
137
138 The second element can also be a function.  In that case, it will be
139 called narrowed to the headers with the first element of the rule as
140 the argument.  It should return a non-nil value if it thinks that the
141 mail belongs in that group.
142
143 This variable can also have a function as its value, the function will
144 be called with the headers narrowed and should return a group where it
145 thinks the article should be splitted to.  See `nnimap-split-fancy'.
146
147 To allow for different split rules on different virtual servers, and
148 even different split rules in different inboxes on the same server,
149 the syntax of this variable have been extended along the lines of:
150
151 \(setq nnimap-split-rule
152       '((\"my1server\"    (\".*\"    ((\"ding\"    \"ding@gnus.org\")
153                                   (\"junk\"    \"From:.*Simon\")))
154         (\"my2server\"    (\"INBOX\" nnimap-split-fancy))
155         (\"my[34]server\" (\".*\"    ((\"private\" \"To:.*Simon\")
156                                   (\"junk\"    my-junk-func)))))
157
158 The virtual server name is in fact a regexp, so that the same rules
159 may apply to several servers.  In the example, the servers
160 \"my3server\" and \"my4server\" both use the same rules.  Similarly,
161 the inbox string is also a regexp.  The actual splitting rules are as
162 before, either a function, or a list with group/regexp or
163 group/function elements."
164   :group 'nnimap
165   :type '(choice :tag "Rule type"
166                  (repeat :menu-tag "Single-server"
167                          :tag "Single-server list"
168                          (list (string :tag "Mailbox")
169                                (choice :tag "Predicate"
170                                        (regexp :tag "A regexp")
171                                        (nnimap-strict-function :tag "A function"))))
172                  (choice :menu-tag "A function"
173                          :tag "A function"
174                          (function-item nnimap-split-fancy)
175                          (function-item nnmail-split-fancy)
176                          (nnimap-strict-function :tag "User-defined function"))
177                  (repeat :menu-tag "Multi-server (extended)"
178                          :tag "Multi-server list"
179                          (list (regexp :tag "Server regexp")
180                                (list (regexp :tag "Incoming Mailbox regexp")
181                                      (repeat :tag "Rules for matching server(s) and mailbox(es)"
182                                              (list (string :tag "Destination mailbox")
183                                                    (choice :tag "Predicate"
184                                                            (regexp :tag "A Regexp")
185                                                            (nnimap-strict-function :tag "A Function")))))))))
186
187 (defcustom nnimap-split-predicate "UNSEEN UNDELETED"
188   "The predicate used to find articles to split.
189 If you use another IMAP client to peek on articles but always would
190 like nnimap to split them once it's started, you could change this to
191 \"UNDELETED\". Other available predicates are available in
192 RFC2060 section 6.4.4."
193   :group 'nnimap
194   :type 'string)
195
196 (defcustom nnimap-split-fancy nil
197   "Like the variable `nnmail-split-fancy'."
198   :group 'nnimap
199   :type 'sexp)
200
201 (defvar nnimap-split-download-body-default nil
202   "Internal variable with default value for `nnimap-split-download-body'.")
203
204 (defcustom nnimap-split-download-body 'default
205   "Whether to download entire articles during splitting.
206 This is generally not required, and will slow things down considerably.
207 You may need it if you want to use an advanced splitting function that
208 analyses the body before splitting the article.
209 If this variable is nil, bodies will not be downloaded; if this
210 variable is the symbol `default' the default behaviour is
211 used (which currently is nil, unless you use a statistical
212 spam.el test); if this variable is another non-nil value bodies
213 will be downloaded."
214   :group 'nnimap
215   :type '(choice (const :tag "Let system decide" deault)
216                  boolean))
217
218 ;; Performance / bug workaround variables
219
220 (defcustom nnimap-close-asynchronous t
221   "Close mailboxes asynchronously in `nnimap-close-group'.
222 This means that errors cought by nnimap when closing the mailbox will
223 not prevent Gnus from updating the group status, which may be harmful.
224 However, it increases speed."
225   :type 'boolean
226   :group 'nnimap)
227
228 (defcustom nnimap-dont-close t
229   "Never close mailboxes.
230 This increases the speed of closing mailboxes (quiting group) but may
231 decrease the speed of selecting another mailbox later.  Re-selecting
232 the same mailbox will be faster though."
233   :type 'boolean
234   :group 'nnimap)
235
236 (defcustom nnimap-retrieve-groups-asynchronous t
237   "Send asynchronous STATUS commands for each mailbox before checking mail.
238 If you have mailboxes that rarely receives mail, this speeds up new
239 mail checking.  It works by first sending STATUS commands for each
240 mailbox, and then only checking groups which has a modified UIDNEXT
241 more carefully for new mail.
242
243 In summary, the default is O((1-p)*k+p*n) and changing it to nil makes
244 it O(n).  If p is small, then the default is probably faster."
245   :type 'boolean
246   :group 'nnimap)
247
248 (defvoo nnimap-need-unselect-to-notice-new-mail nil
249   "Unselect mailboxes before looking for new mail in them.
250 Some servers seem to need this under some circumstances.")
251
252 ;; Authorization / Privacy variables
253
254 (defvoo nnimap-auth-method nil
255   "Obsolete.")
256
257 (defvoo nnimap-stream nil
258   "How nnimap will connect to the server.
259
260 The default, nil, will try to use the \"best\" method the server can
261 handle.
262
263 Change this if
264
265 1) you want to connect with TLS/SSL.  The TLS/SSL integration
266    with IMAP is suboptimal so you'll have to tell it
267    specifically.
268
269 2) your server is more capable than your environment -- i.e. your
270    server accept Kerberos login's but you haven't installed the
271    `imtest' program or your machine isn't configured for Kerberos.
272
273 Possible choices: gssapi, kerberos4, starttls, tls, ssl, network, shell.
274 See also `imap-streams' and `imap-stream-alist'.")
275
276 (defvoo nnimap-authenticator nil
277   "How nnimap authenticate itself to the server.
278
279 The default, nil, will try to use the \"best\" method the server can
280 handle.
281
282 There is only one reason for fiddling with this variable, and that is
283 if your server is more capable than your environment -- i.e. you
284 connect to a server that accept Kerberos login's but you haven't
285 installed the `imtest' program or your machine isn't configured for
286 Kerberos.
287
288 Possible choices: gssapi, kerberos4, digest-md5, cram-md5, login, anonymous.
289 See also `imap-authenticators' and `imap-authenticator-alist'")
290
291 (defvoo nnimap-directory (nnheader-concat gnus-directory "overview/")
292   "Directory to keep NOV cache files for nnimap groups.
293 See also `nnimap-nov-file-name'.")
294
295 (defvoo nnimap-nov-file-name "nnimap."
296   "NOV cache base filename.
297 The group name and `nnimap-nov-file-name-suffix' will be appended.  A
298 typical complete file name would be
299 ~/News/overview/nnimap.pdc.INBOX.ding.nov, or
300 ~/News/overview/nnimap/pdc/INBOX/ding/nov if
301 `nnmail-use-long-file-names' is nil")
302
303 (defvoo nnimap-nov-file-name-suffix ".novcache"
304   "Suffix for NOV cache base filename.")
305
306 (defvoo nnimap-nov-is-evil gnus-agent
307   "If non-nil, never generate or use a local nov database for this backend.
308 Using nov databases should speed up header fetching considerably.
309 However, it will invoke a UID SEARCH UID command on the server, and
310 some servers implement this command inefficiently by opening each and
311 every message in the group, thus making it quite slow.
312 Unlike other backends, you do not need to take special care if you
313 flip this variable.")
314
315 (defvoo nnimap-expunge-on-close 'always ; 'ask, 'never
316   "Whether to expunge a group when it is closed.
317 When a IMAP group with articles marked for deletion is closed, this
318 variable determine if nnimap should actually remove the articles or
319 not.
320
321 If always, nnimap always perform a expunge when closing the group.
322 If never, nnimap never expunges articles marked for deletion.
323 If ask, nnimap will ask you if you wish to expunge marked articles.
324
325 When setting this variable to `never', you can only expunge articles
326 by using `G x' (gnus-group-nnimap-expunge) from the Group buffer.")
327
328 (defvoo nnimap-list-pattern "*"
329   "A string LIMIT or list of strings with mailbox wildcards used to limit available groups.
330 See below for available wildcards.
331
332 The LIMIT string can be a cons cell (REFERENCE . LIMIT), where
333 REFERENCE will be passed as the first parameter to LIST/LSUB.  The
334 semantics of this are server specific, on the University of Washington
335 server you can specify a directory.
336
337 Example:
338  '(\"INBOX\" \"mail/*\" (\"~friend/mail/\" . \"list/*\"))
339
340 There are two wildcards * and %. * matches everything, % matches
341 everything in the current hierarchy.")
342
343 (defvoo nnimap-news-groups nil
344   "IMAP support a news-like mode, also known as bulletin board mode,
345 where replies is sent via IMAP instead of SMTP.
346
347 This variable should contain a regexp matching groups where you wish
348 replies to be stored to the mailbox directly.
349
350 Example:
351   '(\"^[^I][^N][^B][^O][^X].*$\")
352
353 This will match all groups not beginning with \"INBOX\".
354
355 Note that there is nothing technically different between mail-like and
356 news-like mailboxes.  If you wish to have a group with todo items or
357 similar which you wouldn't want to set up a mailing list for, you can
358 use this to make replies go directly to the group.")
359
360 (defvoo nnimap-expunge-search-string "UID %s NOT SINCE %s"
361   "IMAP search command to use for articles that are to be expired.
362 The first %s is replaced by a UID set of articles to search on,
363 and the second %s is replaced by a date criterium.
364
365 One useful (and perhaps the only useful) value to change this to would
366 be `UID %s NOT SENTSINCE %s' to make nnimap use the Date: header
367 instead of the internal date of messages.  See section 6.4.4 of RFC
368 2060 for more information on valid strings.")
369
370 (defvoo nnimap-importantize-dormant t
371   "If non-nil, mark \"dormant\" articles as \"ticked\" for other IMAP clients.
372 Note that within Gnus, dormant articles will still (only) be
373 marked as ticked.  This is to make \"dormant\" articles stand out,
374 just like \"ticked\" articles, in other IMAP clients.")
375
376 (defvoo nnimap-server-address nil
377   "Obsolete.  Use `nnimap-address'.")
378
379 (defcustom nnimap-authinfo-file "~/.authinfo"
380   "Authorization information for IMAP servers.  In .netrc format."
381   :type
382   '(choice file
383            (repeat :tag "Entries"
384                    :menu-tag "Inline"
385                    (list :format "%v"
386                          :value ("" ("login" . "") ("password" . ""))
387                          (string :tag "Host")
388                          (checklist :inline t
389                                     (cons :format "%v"
390                                           (const :format "" "login")
391                                           (string :format "Login: %v"))
392                                     (cons :format "%v"
393                                           (const :format "" "password")
394                                           (string :format "Password: %v")))))))
395
396 (defcustom nnimap-prune-cache t
397   "If non-nil, nnimap check whether articles still exist on server before using data stored in NOV cache."
398   :type 'boolean)
399
400 (defvar nnimap-request-list-method 'imap-mailbox-list
401   "Method to use to request a list of all folders from the server.
402 If this is 'imap-mailbox-lsub, then use a server-side subscription list to
403 restrict visible folders.")
404
405 (defcustom nnimap-debug nil
406   "If non-nil, random debug spews are placed in *nnimap-debug* buffer."
407   :group 'nnimap
408   :type 'boolean)
409
410 ;; Internal variables:
411
412 (defvar nnimap-debug-buffer "*nnimap-debug*")
413 (defvar nnimap-mailbox-info (gnus-make-hashtable 997))
414 (defvar nnimap-current-move-server nil)
415 (defvar nnimap-current-move-group nil)
416 (defvar nnimap-current-move-article nil)
417 (defvar nnimap-length)
418 (defvar nnimap-progress-chars '(?| ?/ ?- ?\\))
419 (defvar nnimap-progress-how-often 20)
420 (defvar nnimap-counter)
421 (defvar nnimap-server-buffer-alist nil) ;; Map server name to buffers.
422 (defvar nnimap-current-server nil) ;; Current server
423 (defvar nnimap-server-buffer nil) ;; Current servers' buffer
424
425 \f
426
427 (nnoo-define-basics nnimap)
428
429 ;; Utility functions:
430
431 (defsubst nnimap-get-server-buffer (server)
432   "Return buffer for SERVER, if nil use current server."
433   (cadr (assoc (or server nnimap-current-server) nnimap-server-buffer-alist)))
434
435 (defun nnimap-possibly-change-server (server)
436   "Return buffer for SERVER, changing the current server as a side-effect.
437 If SERVER is nil, uses the current server."
438   (setq nnimap-current-server (or server nnimap-current-server)
439         nnimap-server-buffer (nnimap-get-server-buffer nnimap-current-server)))
440
441 (defun nnimap-verify-uidvalidity (group server)
442   "Verify stored uidvalidity match current one in GROUP on SERVER."
443   (let* ((gnusgroup (gnus-group-prefixed-name
444                      group (gnus-server-to-method
445                             (format "nnimap:%s" server))))
446          (new-uidvalidity (imap-mailbox-get 'uidvalidity))
447          (old-uidvalidity (gnus-group-get-parameter gnusgroup 'uidvalidity))
448          (dir (file-name-as-directory (expand-file-name nnimap-directory)))
449          (nameuid (nnheader-translate-file-chars
450                    (concat nnimap-nov-file-name
451                            (if (equal server "")
452                                "unnamed"
453                              server) "." group "." old-uidvalidity
454                            nnimap-nov-file-name-suffix) t))
455          (file (if (or nnmail-use-long-file-names
456                        (file-exists-p (expand-file-name nameuid dir)))
457                    (expand-file-name nameuid dir)
458                  (expand-file-name
459                   (mm-encode-coding-string
460                    (nnheader-replace-chars-in-string nameuid ?. ?/)
461                    nnmail-pathname-coding-system)
462                   dir))))
463     (if old-uidvalidity
464         (if (not (equal old-uidvalidity new-uidvalidity))
465             ;; uidvalidity clash
466             (gnus-delete-file file)
467           (gnus-group-set-parameter gnusgroup 'uidvalidity new-uidvalidity)
468           t)
469       (gnus-group-add-parameter gnusgroup (cons 'uidvalidity new-uidvalidity))
470       t)))
471
472 (defun nnimap-before-find-minmax-bugworkaround ()
473   "Function called before iterating through mailboxes with
474 `nnimap-find-minmax-uid'."
475   (when nnimap-need-unselect-to-notice-new-mail
476     ;; XXX this is for UoW imapd problem, it doesn't notice new mail in
477     ;; currently selected mailbox without a re-select/examine.
478     (or (null (imap-current-mailbox nnimap-server-buffer))
479         (imap-mailbox-unselect nnimap-server-buffer))))
480
481 (defun nnimap-find-minmax-uid (group &optional examine)
482   "Find lowest and highest active article number in GROUP.
483 If EXAMINE is non-nil the group is selected read-only."
484   (with-current-buffer nnimap-server-buffer
485     (when (or (string= group (imap-current-mailbox))
486               (imap-mailbox-select group examine))
487       (let (minuid maxuid)
488         (when (> (imap-mailbox-get 'exists) 0)
489           (imap-fetch "1,*" "UID" nil 'nouidfetch)
490           (imap-message-map (lambda (uid Uid)
491                               (setq minuid (if minuid (min minuid uid) uid)
492                                     maxuid (if maxuid (max maxuid uid) uid)))
493                             'UID))
494         (list (imap-mailbox-get 'exists) minuid maxuid)))))
495
496 (defun nnimap-possibly-change-group (group &optional server)
497   "Make GROUP the current group, and SERVER the current server."
498   (when (nnimap-possibly-change-server server)
499     (with-current-buffer nnimap-server-buffer
500       (if (or (null group) (imap-current-mailbox-p group))
501           imap-current-mailbox
502         (if (imap-mailbox-select group)
503             (if (or (nnimap-verify-uidvalidity
504                      group (or server nnimap-current-server))
505                     (zerop (imap-mailbox-get 'exists group))
506                     t ;; for OGnus to see if ignoring uidvalidity
507                     ;; changes has any bad effects.
508                     (yes-or-no-p
509                      (format
510                       "nnimap: Group %s is not uidvalid.  Continue? " group)))
511                 imap-current-mailbox
512               (imap-mailbox-unselect)
513               (error "nnimap: Group %s is not uid-valid" group))
514           (nnheader-report 'nnimap (imap-error-text)))))))
515
516 (defun nnimap-replace-whitespace (string)
517   "Return STRING with all whitespace replaced with space."
518   (when string
519     (while (string-match "[\r\n\t]+" string)
520       (setq string (replace-match " " t t string)))
521     string))
522
523 ;; Required backend functions
524
525 (defun nnimap-retrieve-headers-progress ()
526   "Hook to insert NOV line for current article into `nntp-server-buffer'."
527   (and (numberp nnmail-large-newsgroup)
528        (zerop (% (incf nnimap-counter) nnimap-progress-how-often))
529        (> nnimap-length nnmail-large-newsgroup)
530        (nnheader-message 6 "nnimap: Retrieving headers... %c"
531                          (nth (/ (% nnimap-counter
532                                     (* (length nnimap-progress-chars)
533                                        nnimap-progress-how-often))
534                                  nnimap-progress-how-often)
535                               nnimap-progress-chars)))
536   (with-current-buffer nntp-server-buffer
537     (let (headers lines chars uid mbx)
538       (with-current-buffer nnimap-server-buffer
539         (setq uid imap-current-message
540               mbx imap-current-mailbox
541               headers (nnimap-demule
542                        (if (imap-capability 'IMAP4rev1)
543                            ;; xxx don't just use car? alist doesn't contain
544                            ;; anything else now, but it might...
545                            (nth 2 (car (imap-message-get uid 'BODYDETAIL)))
546                          (imap-message-get uid 'RFC822.HEADER)))
547               lines (imap-body-lines (imap-message-body imap-current-message))
548               chars (imap-message-get imap-current-message 'RFC822.SIZE)))
549       (nnheader-insert-nov
550        (with-temp-buffer
551          (buffer-disable-undo)
552          (insert headers)
553          (let ((head (nnheader-parse-naked-head)))
554            (mail-header-set-number head uid)
555            (mail-header-set-chars head chars)
556            (mail-header-set-lines head lines)
557            (mail-header-set-xref
558             head (format "%s %s:%d" (system-name) mbx uid))
559            head))))))
560
561 (defun nnimap-retrieve-which-headers (articles fetch-old)
562   "Get a range of articles to fetch based on ARTICLES and FETCH-OLD."
563   (with-current-buffer nnimap-server-buffer
564     (if (numberp (car-safe articles))
565         (imap-search
566          (concat "UID "
567                  (imap-range-to-message-set
568                   (gnus-compress-sequence
569                    (append (gnus-uncompress-sequence
570                             (and fetch-old
571                                  (cons (if (numberp fetch-old)
572                                            (max 1 (- (car articles) fetch-old))
573                                          1)
574                                        (1- (car articles)))))
575                            articles)))))
576       (mapcar (lambda (msgid)
577                 (imap-search
578                  (format "HEADER Message-Id \"%s\"" msgid)))
579               articles))))
580
581 (defun nnimap-group-overview-filename (group server)
582   "Make file name for GROUP on SERVER."
583   (let* ((dir (file-name-as-directory (expand-file-name nnimap-directory)))
584          (uidvalidity (gnus-group-get-parameter
585                        (gnus-group-prefixed-name
586                         group (gnus-server-to-method
587                                (format "nnimap:%s" server)))
588                        'uidvalidity))
589          (name (nnheader-translate-file-chars
590                 (concat nnimap-nov-file-name
591                         (if (equal server "")
592                             "unnamed"
593                           server) "." group nnimap-nov-file-name-suffix) t))
594          (nameuid (nnheader-translate-file-chars
595                    (concat nnimap-nov-file-name
596                            (if (equal server "")
597                                "unnamed"
598                              server) "." group "." uidvalidity
599                            nnimap-nov-file-name-suffix) t))
600          (oldfile (if (or nnmail-use-long-file-names
601                           (file-exists-p (expand-file-name name dir)))
602                       (expand-file-name name dir)
603                     (expand-file-name
604                      (mm-encode-coding-string
605                       (nnheader-replace-chars-in-string name ?. ?/)
606                       nnmail-pathname-coding-system)
607                      dir)))
608          (newfile (if (or nnmail-use-long-file-names
609                           (file-exists-p (expand-file-name nameuid dir)))
610                       (expand-file-name nameuid dir)
611                     (expand-file-name
612                      (mm-encode-coding-string
613                       (nnheader-replace-chars-in-string nameuid ?. ?/)
614                       nnmail-pathname-coding-system)
615                      dir))))
616     (when (and (file-exists-p oldfile) (not (file-exists-p newfile)))
617       (message "nnimap: Upgrading novcache filename...")
618       (sit-for 1)
619       (gnus-make-directory (file-name-directory newfile))
620       (unless (ignore-errors (rename-file oldfile newfile) t)
621         (if (ignore-errors (copy-file oldfile newfile) t)
622             (delete-file oldfile)
623           (error "Can't rename `%s' to `%s'" oldfile newfile))))
624     newfile))
625
626 (defun nnimap-retrieve-headers-from-file (group server)
627   (with-current-buffer nntp-server-buffer
628     (let ((nov (nnimap-group-overview-filename group server)))
629       (when (file-exists-p nov)
630         (mm-insert-file-contents nov)
631         (set-buffer-modified-p nil)
632         (let ((min (ignore-errors (goto-char (point-min))
633                                   (read (current-buffer))))
634               (max (ignore-errors (goto-char (point-max))
635                                   (forward-line -1)
636                                   (read (current-buffer)))))
637           (if (and (numberp min) (numberp max))
638               (cons min max)
639             ;; junk, remove it, it's saved later
640             (erase-buffer)
641             nil))))))
642
643 (defun nnimap-retrieve-headers-from-server (articles group server)
644   (with-current-buffer nnimap-server-buffer
645     (let ((imap-fetch-data-hook '(nnimap-retrieve-headers-progress))
646           (nnimap-length (gnus-range-length articles))
647           (nnimap-counter 0))
648       (imap-fetch (imap-range-to-message-set articles)
649                   (concat "(UID RFC822.SIZE BODY "
650                           (let ((headers
651                                  (append '(Subject From Date Message-Id
652                                                    References In-Reply-To Xref)
653                                          (copy-sequence
654                                           nnmail-extra-headers))))
655                             (if (imap-capability 'IMAP4rev1)
656                                 (format "BODY.PEEK[HEADER.FIELDS %s])" headers)
657                               (format "RFC822.HEADER.LINES %s)" headers)))))
658       (and (numberp nnmail-large-newsgroup)
659            (> nnimap-length nnmail-large-newsgroup)
660            (nnheader-message 6 "nnimap: Retrieving headers...done")))))
661
662 (defun nnimap-dont-use-nov-p (group server)
663   (or gnus-nov-is-evil nnimap-nov-is-evil
664       (unless (and (gnus-make-directory
665                     (file-name-directory
666                      (nnimap-group-overview-filename group server)))
667                    (file-writable-p
668                     (nnimap-group-overview-filename group server)))
669         (message "nnimap: Nov cache not writable, %s"
670                  (nnimap-group-overview-filename group server)))))
671
672 (deffoo nnimap-retrieve-headers (articles &optional group server fetch-old)
673   (when (nnimap-possibly-change-group group server)
674     (with-current-buffer nntp-server-buffer
675       (erase-buffer)
676       (if (nnimap-dont-use-nov-p group server)
677           (nnimap-retrieve-headers-from-server
678            (gnus-compress-sequence articles) group server)
679         (let (uids cached low high)
680           (when (setq uids (nnimap-retrieve-which-headers articles fetch-old)
681                       low (car uids)
682                       high (car (last uids)))
683             (if (setq cached (nnimap-retrieve-headers-from-file group server))
684                 (progn
685                   ;; fetch articles with uids before cache block
686                   (when (< low (car cached))
687                     (goto-char (point-min))
688                     (nnimap-retrieve-headers-from-server
689                      (cons low (1- (car cached))) group server))
690                   ;; fetch articles with uids after cache block
691                   (when (> high (cdr cached))
692                     (goto-char (point-max))
693                     (nnimap-retrieve-headers-from-server
694                      (cons (1+ (cdr cached)) high) group server))
695                   (when nnimap-prune-cache
696                     ;; remove nov's for articles which has expired on server
697                     (goto-char (point-min))
698                     (dolist (uid (gnus-set-difference articles uids))
699                       (when (re-search-forward (format "^%d\t" uid) nil t)
700                         (gnus-delete-line)))))
701               ;; nothing cached, fetch whole range from server
702               (nnimap-retrieve-headers-from-server
703                (cons low high) group server))
704             (when (buffer-modified-p)
705               (nnmail-write-region
706                (point-min) (point-max)
707                (nnimap-group-overview-filename group server) nil 'nomesg))
708             (nnheader-nov-delete-outside-range low high))))
709       'nov)))
710
711 (defun nnimap-open-connection (server)
712   (if (not (imap-open nnimap-address nnimap-server-port nnimap-stream
713                       nnimap-authenticator nnimap-server-buffer))
714       (nnheader-report 'nnimap "Can't open connection to server %s" server)
715     (unless (or (imap-capability 'IMAP4 nnimap-server-buffer)
716                 (imap-capability 'IMAP4rev1 nnimap-server-buffer))
717       (imap-close nnimap-server-buffer)
718       (nnheader-report 'nnimap "Server %s is not IMAP4 compliant" server))
719     (let* ((list (gnus-parse-netrc nnimap-authinfo-file))
720            (port (if nnimap-server-port
721                      (int-to-string nnimap-server-port)
722                    "imap"))
723            (alist (gnus-netrc-machine list (or nnimap-server-address
724                                                nnimap-address server)
725                                       port "imap"))
726            (user (gnus-netrc-get alist "login"))
727            (passwd (gnus-netrc-get alist "password")))
728       (if (imap-authenticate user passwd nnimap-server-buffer)
729           (prog1
730               (push (list server nnimap-server-buffer)
731                     nnimap-server-buffer-alist)
732             (nnimap-possibly-change-server server))
733         (imap-close nnimap-server-buffer)
734         (kill-buffer nnimap-server-buffer)
735         (nnheader-report 'nnimap "Could not authenticate to %s" server)))))
736
737 (deffoo nnimap-open-server (server &optional defs)
738   (nnheader-init-server-buffer)
739   (if (nnimap-server-opened server)
740       t
741     (unless (assq 'nnimap-server-buffer defs)
742       (push (list 'nnimap-server-buffer (concat " *nnimap* " server)) defs))
743     ;; translate `nnimap-server-address' to `nnimap-address' in defs
744     ;; for people that configured nnimap with a very old version
745     (unless (assq 'nnimap-address defs)
746       (if (assq 'nnimap-server-address defs)
747           (push (list 'nnimap-address
748                       (cadr (assq 'nnimap-server-address defs))) defs)
749         (push (list 'nnimap-address server) defs)))
750     (nnoo-change-server 'nnimap server defs)
751     (or nnimap-server-buffer
752         (setq nnimap-server-buffer (cadr (assq 'nnimap-server-buffer defs))))
753     (with-current-buffer (get-buffer-create nnimap-server-buffer)
754       (nnoo-change-server 'nnimap server defs))
755     (or (and nnimap-server-buffer
756              (imap-opened nnimap-server-buffer)
757              (if (with-current-buffer nnimap-server-buffer
758                    (memq imap-state '(auth select examine)))
759                  t
760                (imap-close nnimap-server-buffer)
761                (nnimap-open-connection server)))
762         (nnimap-open-connection server))))
763
764 (deffoo nnimap-server-opened (&optional server)
765   "Whether SERVER is opened.
766 If SERVER is the current virtual server, and the connection to the
767 physical server is alive, this function return a non-nil value.  If
768 SERVER is nil, it is treated as the current server."
769   ;; clean up autologouts??
770   (and (or server nnimap-current-server)
771        (nnoo-server-opened 'nnimap (or server nnimap-current-server))
772        (imap-opened (nnimap-get-server-buffer server))))
773
774 (deffoo nnimap-close-server (&optional server)
775   "Close connection to server and free all resources connected to it.
776 Return nil if the server couldn't be closed for some reason."
777   (let ((server (or server nnimap-current-server)))
778     (when (or (nnimap-server-opened server)
779               (imap-opened (nnimap-get-server-buffer server)))
780       (imap-close (nnimap-get-server-buffer server))
781       (kill-buffer (nnimap-get-server-buffer server))
782       (setq nnimap-server-buffer nil
783             nnimap-current-server nil
784             nnimap-server-buffer-alist
785             (delq server nnimap-server-buffer-alist)))
786     (nnoo-close-server 'nnimap server)))
787
788 (deffoo nnimap-request-close ()
789   "Close connection to all servers and free all resources that the backend have reserved.
790 All buffers that have been created by that
791 backend should be killed.  (Not the nntp-server-buffer, though.) This
792 function is generally only called when Gnus is shutting down."
793   (mapcar (lambda (server) (nnimap-close-server (car server)))
794           nnimap-server-buffer-alist)
795   (setq nnimap-server-buffer-alist nil))
796
797 (deffoo nnimap-status-message (&optional server)
798   "This function returns the last error message from server."
799   (when (nnimap-possibly-change-server server)
800     (nnoo-status-message 'nnimap server)))
801
802 (defun nnimap-demule (string)
803   (funcall (if (and (fboundp 'string-as-multibyte)
804                     (subrp (symbol-function 'string-as-multibyte)))
805                'string-as-multibyte
806              'identity)
807            (or string "")))
808
809 (defun nnimap-make-callback (article gnus-callback buffer)
810   "Return a callback function."
811   `(lambda () 
812      (nnimap-callback ,article ,gnus-callback ,buffer)))
813
814 (defun nnimap-callback (article gnus-callback buffer)
815   (when (eq article (imap-current-message))
816     (remove-hook 'imap-fetch-data-hook
817                  (nnimap-make-callback article gnus-callback buffer))
818     (with-current-buffer buffer
819       (insert
820        (with-current-buffer nnimap-server-buffer
821          (nnimap-demule
822           (if (imap-capability 'IMAP4rev1)
823               ;; xxx don't just use car? alist doesn't contain
824               ;; anything else now, but it might...
825               (nth 2 (car (imap-message-get article 'BODYDETAIL)))
826             (imap-message-get article 'RFC822)))))
827       (nnheader-ms-strip-cr)
828       (funcall gnus-callback t))))
829
830 (defun nnimap-request-article-part (article part prop &optional
831                                             group server to-buffer detail)
832   (when (nnimap-possibly-change-group group server)
833     (let ((article (if (stringp article)
834                        (car-safe (imap-search
835                                   (format "HEADER Message-Id \"%s\"" article)
836                                   nnimap-server-buffer))
837                      article)))
838       (when article
839         (gnus-message 10 "nnimap: Fetching (part of) article %d from %s..."
840                       article (or group imap-current-mailbox
841                                   gnus-newsgroup-name))
842         (if (not nnheader-callback-function)
843             (with-current-buffer (or to-buffer nntp-server-buffer)
844               (erase-buffer)
845               (let ((data (imap-fetch article part prop nil
846                                       nnimap-server-buffer)))
847                 (insert (nnimap-demule (if detail
848                                            (nth 2 (car data))
849                                          data))))
850               (nnheader-ms-strip-cr)
851               (gnus-message
852                10 "nnimap: Fetching (part of) article %d from %s...done"
853                article (or group imap-current-mailbox gnus-newsgroup-name))
854               (if (bobp)
855                   (nnheader-report 'nnimap "No such article %d in %s: %s"
856                                    article (or group imap-current-mailbox
857                                                gnus-newsgroup-name)
858                                    (imap-error-text nnimap-server-buffer))
859                 (cons group article)))
860           (add-hook 'imap-fetch-data-hook
861                     (nnimap-make-callback article 
862                                           nnheader-callback-function 
863                                           nntp-server-buffer))
864           (imap-fetch-asynch article part nil nnimap-server-buffer)
865           (cons group article))))))
866
867 (deffoo nnimap-asynchronous-p ()
868   t)
869
870 (deffoo nnimap-request-article (article &optional group server to-buffer)
871   (if (imap-capability 'IMAP4rev1 nnimap-server-buffer)
872       (nnimap-request-article-part
873        article "BODY.PEEK[]" 'BODYDETAIL group server to-buffer 'detail)
874     (nnimap-request-article-part
875      article "RFC822.PEEK" 'RFC822 group server to-buffer)))
876
877 (deffoo nnimap-request-head (article &optional group server to-buffer)
878   (if (imap-capability 'IMAP4rev1 nnimap-server-buffer)
879       (nnimap-request-article-part
880        article "BODY.PEEK[HEADER]" 'BODYDETAIL group server to-buffer 'detail)
881     (nnimap-request-article-part
882      article "RFC822.HEADER" 'RFC822.HEADER group server to-buffer)))
883
884 (deffoo nnimap-request-body (article &optional group server to-buffer)
885   (if (imap-capability 'IMAP4rev1 nnimap-server-buffer)
886       (nnimap-request-article-part
887        article "BODY.PEEK[TEXT]" 'BODYDETAIL group server to-buffer 'detail)
888     (nnimap-request-article-part
889      article "RFC822.TEXT.PEEK" 'RFC822.TEXT group server to-buffer)))
890
891 (deffoo nnimap-request-group (group &optional server fast)
892   (nnimap-request-update-info-internal
893    group
894    (gnus-get-info (gnus-group-prefixed-name
895                    group (gnus-server-to-method (format "nnimap:%s" server))))
896    server)
897   (when (nnimap-possibly-change-group group server)
898     (nnimap-before-find-minmax-bugworkaround)
899     (let (info)
900       (cond (fast group)
901             ((null (setq info (nnimap-find-minmax-uid group t)))
902              (nnheader-report 'nnimap "Could not get active info for %s"
903                               group))
904             (t
905              (nnheader-insert "211 %d %d %d %s\n" (or (nth 0 info) 0)
906                               (max 1 (or (nth 1 info) 1))
907                               (or (nth 2 info) 0) group)
908              (nnheader-report 'nnimap "Group %s selected" group)
909              t)))))
910
911 (defun nnimap-update-unseen (group &optional server)
912   "Update the unseen count in `nnimap-mailbox-info'."
913   (gnus-sethash
914    (gnus-group-prefixed-name group server)
915    (let ((old (gnus-gethash-safe (gnus-group-prefixed-name group server) 
916                                  nnimap-mailbox-info)))
917      (list (nth 0 old) (nth 1 old)
918            (imap-mailbox-status group 'unseen nnimap-server-buffer)
919            (nth 3 old)))
920    nnimap-mailbox-info))
921
922 (defun nnimap-close-group (group &optional server)
923   (with-current-buffer nnimap-server-buffer
924     (when (and (imap-opened)
925                (nnimap-possibly-change-group group server))
926       (nnimap-update-unseen group server)
927       (case nnimap-expunge-on-close
928         (always (progn
929                   (imap-mailbox-expunge nnimap-close-asynchronous)
930                   (unless nnimap-dont-close
931                     (imap-mailbox-close nnimap-close-asynchronous))))
932         (ask (if (and (imap-search "DELETED")
933                       (gnus-y-or-n-p (format "Expunge articles in group `%s'? "
934                                              imap-current-mailbox)))
935                  (progn
936                    (imap-mailbox-expunge nnimap-close-asynchronous)
937                    (unless nnimap-dont-close
938                      (imap-mailbox-close nnimap-close-asynchronous)))
939                (imap-mailbox-unselect)))
940         (t (imap-mailbox-unselect)))
941       (not imap-current-mailbox))))
942
943 (defun nnimap-pattern-to-list-arguments (pattern)
944   (mapcar (lambda (p)
945             (cons (car-safe p) (or (cdr-safe p) p)))
946           (if (and (listp pattern)
947                    (listp (cdr pattern)))
948               pattern
949             (list pattern))))
950
951 (deffoo nnimap-request-list (&optional server)
952   (when (nnimap-possibly-change-server server)
953     (with-current-buffer nntp-server-buffer
954       (erase-buffer))
955     (gnus-message 5 "nnimap: Generating active list%s..."
956                   (if (> (length server) 0) (concat " for " server) ""))
957     (nnimap-before-find-minmax-bugworkaround)
958     (with-current-buffer nnimap-server-buffer
959       (dolist (pattern (nnimap-pattern-to-list-arguments nnimap-list-pattern))
960         (dolist (mbx (funcall nnimap-request-list-method
961                               (cdr pattern) (car pattern)))
962           (or (member "\\NoSelect" (imap-mailbox-get 'list-flags mbx))
963               (let ((info (nnimap-find-minmax-uid mbx 'examine)))
964                 (when info
965                   (with-current-buffer nntp-server-buffer
966                     (insert (format "\"%s\" %d %d y\n"
967                                     mbx (or (nth 2 info) 0)
968                                     (max 1 (or (nth 1 info) 1)))))))))))
969     (gnus-message 5 "nnimap: Generating active list%s...done"
970                   (if (> (length server) 0) (concat " for " server) ""))
971     t))
972
973 (deffoo nnimap-request-post (&optional server)
974   (let ((success t))
975     (dolist (mbx (message-unquote-tokens
976                   (message-tokenize-header
977                    (message-fetch-field "Newsgroups") ", ")) success)
978       (let ((to-newsgroup (gnus-group-prefixed-name mbx gnus-command-method)))
979         (or (gnus-active to-newsgroup)
980             (gnus-activate-group to-newsgroup)
981             (if (gnus-y-or-n-p (format "No such group: %s.  Create it? "
982                                        to-newsgroup))
983                 (or (and (gnus-request-create-group
984                           to-newsgroup gnus-command-method)
985                          (gnus-activate-group to-newsgroup nil nil
986                                               gnus-command-method))
987                     (error "Couldn't create group %s" to-newsgroup)))
988             (error "No such group: %s" to-newsgroup))
989         (unless (nnimap-request-accept-article mbx (nth 1 gnus-command-method))
990           (setq success nil))))))
991
992 ;; Optional backend functions
993
994 (defun nnimap-string-lessp-numerical (s1 s2)
995   "Return t if first arg string is less than second in numerical order."
996   (cond ((string= s1 s2)
997          nil)
998         ((> (length s1) (length s2))
999          nil)
1000         ((< (length s1) (length s2))
1001          t)
1002         ((< (string-to-number (substring s1 0 1))
1003             (string-to-number (substring s2 0 1)))
1004          t)
1005         ((> (string-to-number (substring s1 0 1))
1006             (string-to-number (substring s2 0 1)))
1007          nil)
1008         (t
1009          (nnimap-string-lessp-numerical (substring s1 1) (substring s2 1)))))
1010
1011 (deffoo nnimap-retrieve-groups (groups &optional server)
1012   (when (nnimap-possibly-change-server server)
1013     (gnus-message 5 "nnimap: Checking mailboxes...")
1014     (with-current-buffer nntp-server-buffer
1015       (erase-buffer)
1016       (nnimap-before-find-minmax-bugworkaround)
1017       (let (asyncgroups slowgroups)
1018         (if (null nnimap-retrieve-groups-asynchronous)
1019             (setq slowgroups groups)
1020           (dolist (group groups)
1021             (gnus-message 9 "nnimap: Quickly checking mailbox %s" group)
1022             (add-to-list (if (gnus-gethash-safe
1023                               (gnus-group-prefixed-name group server)
1024                               nnimap-mailbox-info)
1025                              'asyncgroups
1026                            'slowgroups)
1027                          (list group (imap-mailbox-status-asynch
1028                                       group '(uidvalidity uidnext unseen) 
1029                                       nnimap-server-buffer))))
1030           (dolist (asyncgroup asyncgroups)
1031             (let ((group (nth 0 asyncgroup))
1032                   (tag   (nth 1 asyncgroup))
1033                   new old)
1034               (when (imap-ok-p (imap-wait-for-tag tag nnimap-server-buffer))
1035                 (if (or (not (string=
1036                               (nth 0 (gnus-gethash (gnus-group-prefixed-name
1037                                                     group server)
1038                                                    nnimap-mailbox-info))
1039                               (imap-mailbox-get 'uidvalidity group 
1040                                                 nnimap-server-buffer)))
1041                         (not (string=
1042                               (nth 1 (gnus-gethash (gnus-group-prefixed-name
1043                                                     group server)
1044                                                    nnimap-mailbox-info))
1045                               (imap-mailbox-get 'uidnext group
1046                                                 nnimap-server-buffer))))
1047                     (push (list group) slowgroups)
1048                   (insert (nth 3 (gnus-gethash (gnus-group-prefixed-name
1049                                                 group server)
1050                                                nnimap-mailbox-info))))))))
1051         (dolist (group slowgroups)
1052           (if nnimap-retrieve-groups-asynchronous
1053               (setq group (car group)))
1054           (gnus-message 7 "nnimap: Mailbox %s modified" group)
1055           (imap-mailbox-put 'uidnext nil group nnimap-server-buffer)
1056           (or (member "\\NoSelect" (imap-mailbox-get 'list-flags group
1057                                                      nnimap-server-buffer))
1058               (let* ((info (nnimap-find-minmax-uid group 'examine))
1059                      (str (format "\"%s\" %d %d y\n" group
1060                                   (or (nth 2 info) 0)
1061                                   (max 1 (or (nth 1 info) 1)))))
1062                 (when (> (or (imap-mailbox-get 'recent group
1063                                                nnimap-server-buffer) 0)
1064                          0)
1065                   (push (list (cons group 0)) nnmail-split-history))
1066                 (insert str)
1067                 (when nnimap-retrieve-groups-asynchronous
1068                   (gnus-sethash
1069                    (gnus-group-prefixed-name group server)
1070                    (list (or (imap-mailbox-get
1071                               'uidvalidity group nnimap-server-buffer)
1072                              (imap-mailbox-status
1073                               group 'uidvalidity nnimap-server-buffer))
1074                          (or (imap-mailbox-get
1075                               'uidnext group nnimap-server-buffer)
1076                              (imap-mailbox-status
1077                               group 'uidnext nnimap-server-buffer))
1078                          (or (imap-mailbox-get
1079                               'unseen group nnimap-server-buffer)
1080                              (imap-mailbox-status
1081                               group 'unseen nnimap-server-buffer))
1082                          str)
1083                    nnimap-mailbox-info)))))))
1084     (gnus-message 5 "nnimap: Checking mailboxes...done")
1085     'active))
1086
1087 (deffoo nnimap-request-update-info-internal (group info &optional server)
1088   (when (nnimap-possibly-change-group group server)
1089     (when info ;; xxx what does this mean? should we create a info?
1090       (with-current-buffer nnimap-server-buffer
1091         (gnus-message 5 "nnimap: Updating info for %s..."
1092                       (gnus-info-group info))
1093
1094         (when (nnimap-mark-permanent-p 'read)
1095           (let (seen unseen)
1096             ;; read info could contain articles marked unread by other
1097             ;; imap clients!  we correct this
1098             (setq seen (gnus-uncompress-range (gnus-info-read info))
1099                   unseen (imap-search "UNSEEN UNDELETED")
1100                   seen (gnus-set-difference seen unseen)
1101                   ;; seen might lack articles marked as read by other
1102                   ;; imap clients! we correct this
1103                   seen (append seen (imap-search "SEEN"))
1104                   ;; remove dupes
1105                   seen (sort seen '<)
1106                   seen (gnus-compress-sequence seen t)
1107                   ;; we can't return '(1) since this isn't a "list of ranges",
1108                   ;; and we can't return '((1)) since g-list-of-unread-articles
1109                   ;; is buggy so we return '((1 . 1)).
1110                   seen (if (and (integerp (car seen))
1111                                 (null (cdr seen)))
1112                            (list (cons (car seen) (car seen)))
1113                          seen))
1114             (gnus-info-set-read info seen)))
1115
1116         (mapcar (lambda (pred)
1117                   (when (or (eq (cdr pred) 'recent)
1118                             (and (nnimap-mark-permanent-p (cdr pred))
1119                                  (member (nnimap-mark-to-flag (cdr pred))
1120                                          (imap-mailbox-get 'flags))))
1121                     (gnus-info-set-marks
1122                      info
1123                      (gnus-update-alist-soft
1124                       (cdr pred)
1125                       (gnus-compress-sequence
1126                        (imap-search (nnimap-mark-to-predicate (cdr pred))))
1127                       (gnus-info-marks info))
1128                      t)))
1129                 gnus-article-mark-lists)
1130
1131         (when nnimap-importantize-dormant
1132           ;; nnimap mark dormant article as ticked too (for other clients)
1133           ;; so we remove that mark for gnus since we support dormant
1134           (gnus-info-set-marks
1135            info
1136            (gnus-update-alist-soft
1137             'tick
1138             (gnus-remove-from-range
1139              (cdr-safe (assoc 'tick (gnus-info-marks info)))
1140              (cdr-safe (assoc 'dormant (gnus-info-marks info))))
1141             (gnus-info-marks info))
1142            t))
1143
1144         (gnus-message 5 "nnimap: Updating info for %s...done"
1145                       (gnus-info-group info))
1146
1147         info))))
1148
1149 (deffoo nnimap-request-type (group &optional article)
1150   (if (and nnimap-news-groups (string-match nnimap-news-groups group))
1151       'news
1152     'mail))
1153
1154 (deffoo nnimap-request-set-mark (group actions &optional server)
1155   (when (nnimap-possibly-change-group group server)
1156     (with-current-buffer nnimap-server-buffer
1157       (let (action)
1158         (gnus-message 7 "nnimap: Setting marks in %s..." group)
1159         (while (setq action (pop actions))
1160           (let ((range (nth 0 action))
1161                 (what  (nth 1 action))
1162                 (cmdmarks (nth 2 action))
1163                 marks)
1164             ;; bookmark can't be stored (not list/range
1165             (setq cmdmarks (delq 'bookmark cmdmarks))
1166             ;; killed can't be stored (not list/range
1167             (setq cmdmarks (delq 'killed cmdmarks))
1168             ;; unsent are for nndraft groups only
1169             (setq cmdmarks (delq 'unsent cmdmarks))
1170             ;; cache flags are pointless on the server
1171             (setq cmdmarks (delq 'cache cmdmarks))
1172             ;; seen flags are local to each gnus
1173             (setq cmdmarks (delq 'seen cmdmarks))
1174             ;; recent marks can't be set
1175             (setq cmdmarks (delq 'recent cmdmarks))
1176             (when nnimap-importantize-dormant
1177               ;; flag dormant articles as ticked
1178               (if (memq 'dormant cmdmarks)
1179                   (setq cmdmarks (cons 'tick cmdmarks))))
1180             ;; remove stuff we are forbidden to store
1181             (mapcar (lambda (mark)
1182                       (if (imap-message-flag-permanent-p
1183                            (nnimap-mark-to-flag mark))
1184                           (setq marks (cons mark marks))))
1185                     cmdmarks)
1186             (when (and range marks)
1187               (cond ((eq what 'del)
1188                      (imap-message-flags-del
1189                       (imap-range-to-message-set range)
1190                       (nnimap-mark-to-flag marks nil t)))
1191                     ((eq what 'add)
1192                      (imap-message-flags-add
1193                       (imap-range-to-message-set range)
1194                       (nnimap-mark-to-flag marks nil t)))
1195                     ((eq what 'set)
1196                      (imap-message-flags-set
1197                       (imap-range-to-message-set range)
1198                       (nnimap-mark-to-flag marks nil t)))))))
1199         (gnus-message 7 "nnimap: Setting marks in %s...done" group))))
1200   nil)
1201
1202 (defun nnimap-split-fancy ()
1203   "Like the function `nnmail-split-fancy', but uses `nnimap-split-fancy'."
1204   (let ((nnmail-split-fancy nnimap-split-fancy))
1205     (nnmail-split-fancy)))
1206
1207 (defun nnimap-split-to-groups (rules)
1208   ;; tries to match all rules in nnimap-split-rule against content of
1209   ;; nntp-server-buffer, returns a list of groups that matched.
1210   (with-current-buffer nntp-server-buffer
1211     ;; Fold continuation lines.
1212     (goto-char (point-min))
1213     (while (re-search-forward "\\(\r?\n[ \t]+\\)+" nil t)
1214       (replace-match " " t t))
1215     (if (functionp rules)
1216         (funcall rules)
1217       (let (to-groups regrepp)
1218         (catch 'split-done
1219           (dolist (rule rules to-groups)
1220             (let ((group (car rule))
1221                   (regexp (cadr rule)))
1222               (goto-char (point-min))
1223               (when (and (if (stringp regexp)
1224                              (progn
1225                                (if (not (stringp group))
1226                                    (setq group (eval group))
1227                                  (setq regrepp
1228                                        (string-match "\\\\[0-9&]" group)))
1229                                (re-search-forward regexp nil t))
1230                            (funcall regexp group))
1231                          ;; Don't enter the article into the same group twice.
1232                          (not (assoc group to-groups)))
1233                 (push (if regrepp
1234                           (nnmail-expand-newtext group)
1235                         group)
1236                       to-groups)
1237                 (or nnimap-split-crosspost
1238                     (throw 'split-done to-groups))))))))))
1239
1240 (defun nnimap-assoc-match (key alist)
1241   (let (element)
1242     (while (and alist (not element))
1243       (if (string-match (car (car alist)) key)
1244           (setq element (car alist)))
1245       (setq alist (cdr alist)))
1246     element))
1247
1248 (defun nnimap-split-find-rule (server inbox)
1249   (if (and (listp nnimap-split-rule) (listp (car nnimap-split-rule))
1250            (list (cdar nnimap-split-rule)) (listp (cadar nnimap-split-rule)))
1251       ;; extended format
1252       (cadr (nnimap-assoc-match inbox (cdr (nnimap-assoc-match
1253                                             server nnimap-split-rule))))
1254     nnimap-split-rule))
1255
1256 (defun nnimap-split-find-inbox (server)
1257   (if (listp nnimap-split-inbox)
1258       nnimap-split-inbox
1259     (list nnimap-split-inbox)))
1260
1261 (defun nnimap-split-articles (&optional group server)
1262   (when (nnimap-possibly-change-server server)
1263     (with-current-buffer nnimap-server-buffer
1264       (let (rule inbox removeorig (inboxes (nnimap-split-find-inbox server)))
1265         ;; iterate over inboxes
1266         (while (and (setq inbox (pop inboxes))
1267                     (nnimap-possibly-change-group inbox)) ;; SELECT
1268           ;; find split rule for this server / inbox
1269           (when (setq rule (nnimap-split-find-rule server inbox))
1270             ;; iterate over articles
1271             (dolist (article (imap-search nnimap-split-predicate))
1272               (when (if (if (eq nnimap-split-download-body 'default)
1273                             nnimap-split-download-body-default
1274                           nnimap-split-download-body)
1275                         (and (nnimap-request-article article)
1276                              (with-current-buffer nntp-server-buffer (mail-narrow-to-head)))
1277                       (nnimap-request-head article))
1278                 ;; copy article to right group(s)
1279                 (setq removeorig nil)
1280                 (dolist (to-group (nnimap-split-to-groups rule))
1281                   (cond ((eq to-group 'junk)
1282                          (message "IMAP split removed %s:%s:%d" server inbox
1283                                   article)
1284                          (setq removeorig t))
1285                         ((imap-message-copy (number-to-string article)
1286                                             to-group nil 'nocopyuid)
1287                          (message "IMAP split moved %s:%s:%d to %s" server
1288                                   inbox article to-group)
1289                          (setq removeorig t)
1290                          (when nnmail-cache-accepted-message-ids
1291                            (with-current-buffer nntp-server-buffer
1292                              (let (msgid)
1293                                (and (setq msgid
1294                                           (nnmail-fetch-field "message-id"))
1295                                     (nnmail-cache-insert msgid to-group)))))
1296                          ;; Add the group-art list to the history list.
1297                          (push (list (cons to-group 0)) nnmail-split-history))
1298                         (t
1299                          (message "IMAP split failed to move %s:%s:%d to %s"
1300                                   server inbox article to-group))))
1301                 (if (if (eq nnimap-split-download-body 'default)
1302                         nnimap-split-download-body-default
1303                       nnimap-split-download-body)
1304                     (widen))
1305                 ;; remove article if it was successfully copied somewhere
1306                 (and removeorig
1307                      (imap-message-flags-add (format "%d" article)
1308                                              "\\Seen \\Deleted")))))
1309           (when (imap-mailbox-select inbox) ;; just in case
1310             ;; todo: UID EXPUNGE (if available) to remove splitted articles
1311             (imap-mailbox-expunge)
1312             (imap-mailbox-close)))
1313         (when nnmail-cache-accepted-message-ids
1314           (nnmail-cache-close))
1315         t))))
1316
1317 (deffoo nnimap-request-scan (&optional group server)
1318   (nnimap-split-articles group server))
1319
1320 (deffoo nnimap-request-newgroups (date &optional server)
1321   (when (nnimap-possibly-change-server server)
1322     (with-current-buffer nntp-server-buffer
1323       (gnus-message 5 "nnimap: Listing subscribed mailboxes%s%s..."
1324                     (if (> (length server) 0) " on " "") server)
1325       (erase-buffer)
1326       (nnimap-before-find-minmax-bugworkaround)
1327       (dolist (pattern (nnimap-pattern-to-list-arguments
1328                         nnimap-list-pattern))
1329         (dolist (mbx (imap-mailbox-lsub (cdr pattern) (car pattern) nil
1330                                         nnimap-server-buffer))
1331           (or (catch 'found
1332                 (dolist (mailbox (imap-mailbox-get 'list-flags mbx
1333                                                    nnimap-server-buffer))
1334                   (if (string= (downcase mailbox) "\\noselect")
1335                       (throw 'found t)))
1336                 nil)
1337               (let ((info (nnimap-find-minmax-uid mbx 'examine)))
1338                 (when info
1339                   (insert (format "\"%s\" %d %d y\n"
1340                                   mbx (or (nth 2 info) 0)
1341                                   (max 1 (or (nth 1 info) 1)))))))))
1342       (gnus-message 5 "nnimap: Listing subscribed mailboxes%s%s...done"
1343                     (if (> (length server) 0) " on " "") server))
1344     t))
1345
1346 (deffoo nnimap-request-create-group (group &optional server args)
1347   (when (nnimap-possibly-change-server server)
1348     (or (imap-mailbox-status group 'uidvalidity nnimap-server-buffer)
1349         (imap-mailbox-create group nnimap-server-buffer)
1350         (nnheader-report 'nnimap "%S"
1351                          (imap-error-text nnimap-server-buffer)))))
1352
1353 (defun nnimap-time-substract (time1 time2)
1354   "Return TIME for TIME1 - TIME2."
1355   (let* ((ms (- (car time1) (car time2)))
1356          (ls (- (nth 1 time1) (nth 1 time2))))
1357     (if (< ls 0)
1358         (list (- ms 1) (+ (expt 2 16) ls))
1359       (list ms ls))))
1360
1361 (defun nnimap-date-days-ago (daysago)
1362   "Return date, in format \"3-Aug-1998\", for DAYSAGO days ago."
1363   (let* ((time (nnimap-time-substract (current-time) (days-to-time daysago)))
1364          (date (format-time-string
1365                 (format "%%d-%s-%%Y"
1366                         (capitalize (car (rassoc (nth 4 (decode-time time))
1367                                                  parse-time-months))))
1368                 time)))
1369     (if (eq ?0 (string-to-char date))
1370         (substring date 1)
1371       date)))
1372
1373 (defun nnimap-request-expire-articles-progress ()
1374   (gnus-message 5 "nnimap: Marking article %d for deletion..."
1375                 imap-current-message))
1376
1377 (defun nnimap-expiry-target (arts group server)
1378   (unless (eq nnmail-expiry-target 'delete)
1379     (with-temp-buffer
1380       (dolist (art arts)
1381         (nnimap-request-article art group server (current-buffer))
1382         ;; hints for optimization in `nnimap-request-accept-article'
1383         (let ((nnimap-current-move-article art)
1384               (nnimap-current-move-group group)
1385               (nnimap-current-move-server server))
1386           (nnmail-expiry-target-group nnmail-expiry-target group))))
1387     ;; It is not clear if `nnmail-expiry-target' somehow cause the
1388     ;; current group to be changed or not, so we make sure here.
1389     (nnimap-possibly-change-group group server)))
1390
1391 ;; Notice that we don't actually delete anything, we just mark them deleted.
1392 (deffoo nnimap-request-expire-articles (articles group &optional server force)
1393   (let ((artseq (gnus-compress-sequence articles)))
1394     (when (and artseq (nnimap-possibly-change-group group server))
1395       (with-current-buffer nnimap-server-buffer
1396         (let ((days (or (and nnmail-expiry-wait-function
1397                              (funcall nnmail-expiry-wait-function group))
1398                         nnmail-expiry-wait)))
1399           (cond ((or force (eq days 'immediate))
1400                  (let ((oldarts (imap-search
1401                                  (concat "UID " 
1402                                          (imap-range-to-message-set artseq)))))
1403                    (when oldarts
1404                      (nnimap-expiry-target oldarts group server)
1405                      (when (imap-message-flags-add
1406                             (imap-range-to-message-set 
1407                              (gnus-compress-sequence oldarts)) "\\Deleted")
1408                        (setq articles (gnus-set-difference
1409                                        articles oldarts))))))
1410                 ((numberp days)
1411                  (let ((oldarts (imap-search
1412                                  (format nnimap-expunge-search-string
1413                                          (imap-range-to-message-set artseq)
1414                                          (nnimap-date-days-ago days))))
1415                        (imap-fetch-data-hook
1416                         '(nnimap-request-expire-articles-progress)))
1417                    (when oldarts
1418                      (nnimap-expiry-target oldarts group server)
1419                      (when (imap-message-flags-add
1420                             (imap-range-to-message-set 
1421                              (gnus-compress-sequence oldarts)) "\\Deleted")
1422                        (setq articles (gnus-set-difference 
1423                                        articles oldarts)))))))))))
1424   ;; return articles not deleted
1425   articles)
1426
1427 (deffoo nnimap-request-move-article (article group server
1428                                              accept-form &optional last)
1429   (when (nnimap-possibly-change-server server)
1430     (save-excursion
1431       (let ((buf (get-buffer-create " *nnimap move*"))
1432             (nnimap-current-move-article article)
1433             (nnimap-current-move-group group)
1434             (nnimap-current-move-server nnimap-current-server)
1435             result)
1436         (and (nnimap-request-article article group server)
1437              (save-excursion
1438                (set-buffer buf)
1439                (buffer-disable-undo (current-buffer))
1440                (insert-buffer-substring nntp-server-buffer)
1441                (setq result (eval accept-form))
1442                (kill-buffer buf)
1443                result)
1444              (imap-message-flags-add
1445               (imap-range-to-message-set (list article))
1446               "\\Deleted" 'silent nnimap-server-buffer))
1447         result))))
1448
1449 (deffoo nnimap-request-accept-article (group &optional server last)
1450   (when (nnimap-possibly-change-server server)
1451     (let (uid)
1452       (if (setq uid
1453                 (if (string= nnimap-current-server nnimap-current-move-server)
1454                     ;; moving article within same server, speed it up...
1455                     (and (nnimap-possibly-change-group
1456                           nnimap-current-move-group)
1457                          (imap-message-copy (number-to-string
1458                                              nnimap-current-move-article)
1459                                             group 'dontcreate nil
1460                                             nnimap-server-buffer))
1461                   (with-current-buffer (current-buffer)
1462                     (goto-char (point-min))
1463                     ;; remove any 'From blabla' lines, some IMAP servers
1464                     ;; reject the entire message otherwise.
1465                     (when (looking-at "^From[^:]")
1466                       (delete-region (point) (progn (forward-line) (point))))
1467                     ;; turn into rfc822 format (\r\n eol's)
1468                     (while (search-forward "\n" nil t)
1469                       (replace-match "\r\n"))
1470                     (when nnmail-cache-accepted-message-ids
1471                       (nnmail-cache-insert (nnmail-fetch-field "message-id")
1472                                            group)))
1473                   (when (and last nnmail-cache-accepted-message-ids)
1474                     (nnmail-cache-close))
1475                   ;; this 'or' is for Cyrus server bug
1476                   (or (null (imap-current-mailbox nnimap-server-buffer))
1477                       (imap-mailbox-unselect nnimap-server-buffer))
1478                   (imap-message-append group (current-buffer) nil nil
1479                                        nnimap-server-buffer)))
1480           (cons group (nth 1 uid))
1481         (nnheader-report 'nnimap (imap-error-text nnimap-server-buffer))))))
1482
1483 (deffoo nnimap-request-delete-group (group force &optional server)
1484   (when (nnimap-possibly-change-server server)
1485     (with-current-buffer nnimap-server-buffer
1486       (if force
1487           (or (null (imap-mailbox-status group 'uidvalidity))
1488               (imap-mailbox-delete group))
1489         ;; UNSUBSCRIBE?
1490         t))))
1491
1492 (deffoo nnimap-request-rename-group (group new-name &optional server)
1493   (when (nnimap-possibly-change-server server)
1494     (imap-mailbox-rename group new-name nnimap-server-buffer)))
1495
1496 (defun nnimap-expunge (mailbox server)
1497   (when (nnimap-possibly-change-group mailbox server)
1498     (imap-mailbox-expunge nil nnimap-server-buffer)))
1499
1500 (defun nnimap-acl-get (mailbox server)
1501   (when (nnimap-possibly-change-server server)
1502     (and (imap-capability 'ACL nnimap-server-buffer)
1503          (imap-mailbox-acl-get mailbox nnimap-server-buffer))))
1504
1505 (defun nnimap-acl-edit (mailbox method old-acls new-acls)
1506   (when (nnimap-possibly-change-server (cadr method))
1507     (unless (imap-capability 'ACL nnimap-server-buffer)
1508       (error "Your server does not support ACL editing"))
1509     (with-current-buffer nnimap-server-buffer
1510       ;; delete all removed identifiers
1511       (mapcar (lambda (old-acl)
1512                 (unless (assoc (car old-acl) new-acls)
1513                   (or (imap-mailbox-acl-delete (car old-acl) mailbox)
1514                       (error "Can't delete ACL for %s" (car old-acl)))))
1515               old-acls)
1516       ;; set all changed acl's
1517       (mapcar (lambda (new-acl)
1518                 (let ((new-rights (cdr new-acl))
1519                       (old-rights (cdr (assoc (car new-acl) old-acls))))
1520                   (unless (and old-rights new-rights
1521                                (string= old-rights new-rights))
1522                     (or (imap-mailbox-acl-set (car new-acl) new-rights mailbox)
1523                         (error "Can't set ACL for %s to %s" (car new-acl)
1524                                new-rights)))))
1525               new-acls)
1526       t)))
1527
1528 \f
1529 ;;; Internal functions
1530
1531 ;;
1532 ;; This is confusing.
1533 ;;
1534 ;; mark      => read, tick, draft, reply etc
1535 ;; flag      => "\\Seen", "\\Flagged", "\\Draft", "gnus-expire" etc
1536 ;; predicate => "SEEN", "FLAGGED", "DRAFT", "KEYWORD gnus-expire" etc
1537 ;;
1538 ;; Mark should not really contain 'read since it's not a "mark" in the Gnus
1539 ;; world, but we cheat.  Mark == gnus-article-mark-lists + '(read . read).
1540 ;;
1541
1542 (defconst nnimap-mark-to-predicate-alist
1543   (mapcar
1544    (lambda (pair)                       ; cdr is the mark
1545      (or (assoc (cdr pair)
1546                 '((read . "SEEN")
1547                   (tick . "FLAGGED")
1548                   (draft . "DRAFT")
1549                   (recent . "RECENT")
1550                   (reply . "ANSWERED")))
1551          (cons (cdr pair)
1552                (format "KEYWORD gnus-%s" (symbol-name (cdr pair))))))
1553    (cons '(read . read) gnus-article-mark-lists)))
1554
1555 (defun nnimap-mark-to-predicate (pred)
1556   "Convert a Gnus mark (a symbol such as read, tick, expire) to a IMAP predicate.
1557 This is a string such as \"SEEN\", \"FLAGGED\", \"KEYWORD gnus-expire\",
1558 to be used within a IMAP SEARCH query."
1559   (cdr (assq pred nnimap-mark-to-predicate-alist)))
1560
1561 (defconst nnimap-mark-to-flag-alist
1562   (mapcar
1563    (lambda (pair)
1564      (or (assoc (cdr pair)
1565                 '((read . "\\Seen")
1566                   (tick . "\\Flagged")
1567                   (draft . "\\Draft")
1568                   (recent . "\\Recent")
1569                   (reply . "\\Answered")))
1570          (cons (cdr pair)
1571                (format "gnus-%s" (symbol-name (cdr pair))))))
1572    (cons '(read . read) gnus-article-mark-lists)))
1573
1574 (defun nnimap-mark-to-flag-1 (preds)
1575   (if (and (not (null preds)) (listp preds))
1576       (cons (nnimap-mark-to-flag (car preds))
1577             (nnimap-mark-to-flag (cdr preds)))
1578     (cdr (assoc preds nnimap-mark-to-flag-alist))))
1579
1580 (defun nnimap-mark-to-flag (preds &optional always-list make-string)
1581   "Convert a Gnus mark (a symbol such as read, tick, expire) to a IMAP flag.
1582 This is a string such as \"\\Seen\", \"\\Flagged\", \"gnus-expire\", to
1583 be used in a STORE FLAGS command."
1584   (let ((result (nnimap-mark-to-flag-1 preds)))
1585     (setq result (if (and (or make-string always-list)
1586                           (not (listp result)))
1587                      (list result)
1588                    result))
1589     (if make-string
1590         (mapconcat (lambda (flag)
1591                      (if (listp flag)
1592                          (mapconcat 'identity flag " ")
1593                        flag))
1594                    result " ")
1595       result)))
1596
1597 (defun nnimap-mark-permanent-p (mark &optional group)
1598   "Return t iff MARK can be permanently (between IMAP sessions) saved on articles, in GROUP."
1599   (imap-message-flag-permanent-p (nnimap-mark-to-flag mark)))
1600
1601 (when nnimap-debug
1602   (require 'trace)
1603   (buffer-disable-undo (get-buffer-create nnimap-debug-buffer))
1604   (mapcar (lambda (f) (trace-function-background f nnimap-debug-buffer))
1605           '(
1606             nnimap-possibly-change-server
1607             nnimap-verify-uidvalidity
1608             nnimap-find-minmax-uid
1609             nnimap-before-find-minmax-bugworkaround
1610             nnimap-possibly-change-group
1611             ;;nnimap-replace-whitespace
1612             nnimap-retrieve-headers-progress
1613             nnimap-retrieve-which-headers
1614             nnimap-group-overview-filename
1615             nnimap-retrieve-headers-from-file
1616             nnimap-retrieve-headers-from-server
1617             nnimap-retrieve-headers
1618             nnimap-open-connection
1619             nnimap-open-server
1620             nnimap-server-opened
1621             nnimap-close-server
1622             nnimap-request-close
1623             nnimap-status-message
1624             ;;nnimap-demule
1625             nnimap-request-article-part
1626             nnimap-request-article
1627             nnimap-request-head
1628             nnimap-request-body
1629             nnimap-request-group
1630             nnimap-close-group
1631             nnimap-pattern-to-list-arguments
1632             nnimap-request-list
1633             nnimap-request-post
1634             nnimap-retrieve-groups
1635             nnimap-request-update-info-internal
1636             nnimap-request-type
1637             nnimap-request-set-mark
1638             nnimap-split-to-groups
1639             nnimap-split-find-rule
1640             nnimap-split-find-inbox
1641             nnimap-split-articles
1642             nnimap-request-scan
1643             nnimap-request-newgroups
1644             nnimap-request-create-group
1645             nnimap-time-substract
1646             nnimap-date-days-ago
1647             nnimap-request-expire-articles-progress
1648             nnimap-request-expire-articles
1649             nnimap-request-move-article
1650             nnimap-request-accept-article
1651             nnimap-request-delete-group
1652             nnimap-request-rename-group
1653             gnus-group-nnimap-expunge
1654             gnus-group-nnimap-edit-acl
1655             gnus-group-nnimap-edit-acl-done
1656             nnimap-group-mode-hook
1657             nnimap-mark-to-predicate
1658             nnimap-mark-to-flag-1
1659             nnimap-mark-to-flag
1660             nnimap-mark-permanent-p
1661             )))
1662
1663 (provide 'nnimap)
1664
1665 ;;; nnimap.el ends here