(imap-process-connection-type): Improve docstring. Suggested by
[gnus] / lisp / imap.el
1 ;;; imap.el --- imap library
2 ;; Copyright (C) 1998, 1999, 2000, 2001, 2002, 2003
3 ;;        Free Software Foundation, Inc.
4
5 ;; Author: Simon Josefsson <jas@pdc.kth.se>
6 ;; Keywords: mail
7
8 ;; This file is part of GNU Emacs.
9
10 ;; GNU Emacs is free software; you can redistribute it and/or modify
11 ;; it under the terms of the GNU General Public License as published by
12 ;; the Free Software Foundation; either version 2, or (at your option)
13 ;; any later version.
14
15 ;; GNU Emacs is distributed in the hope that it will be useful,
16 ;; but WITHOUT ANY WARRANTY; without even the implied warranty of
17 ;; MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
18 ;; GNU General Public License for more details.
19
20 ;; You should have received a copy of the GNU General Public License
21 ;; along with GNU Emacs; see the file COPYING.  If not, write to the
22 ;; Free Software Foundation, Inc., 59 Temple Place - Suite 330,
23 ;; Boston, MA 02111-1307, USA.
24
25 ;;; Commentary:
26
27 ;; imap.el is a elisp library providing an interface for talking to
28 ;; IMAP servers.
29 ;;
30 ;; imap.el is roughly divided in two parts, one that parses IMAP
31 ;; responses from the server and storing data into buffer-local
32 ;; variables, and one for utility functions which send commands to
33 ;; server, waits for an answer, and return information.  The latter
34 ;; part is layered on top of the previous.
35 ;;
36 ;; The imap.el API consist of the following functions, other functions
37 ;; in this file should not be called directly and the result of doing
38 ;; so are at best undefined.
39 ;;
40 ;; Global commands:
41 ;;
42 ;; imap-open,       imap-opened,    imap-authenticate, imap-close,
43 ;; imap-capability, imap-namespace, imap-error-text
44 ;;
45 ;; Mailbox commands:
46 ;;
47 ;; imap-mailbox-get,       imap-mailbox-map,         imap-current-mailbox,
48 ;; imap-current-mailbox-p, imap-search,              imap-mailbox-select,
49 ;; imap-mailbox-examine,   imap-mailbox-unselect,    imap-mailbox-expunge
50 ;; imap-mailbox-close,     imap-mailbox-create,      imap-mailbox-delete
51 ;; imap-mailbox-rename,    imap-mailbox-lsub,        imap-mailbox-list
52 ;; imap-mailbox-subscribe, imap-mailbox-unsubscribe, imap-mailbox-status
53 ;; imap-mailbox-acl-get,   imap-mailbox-acl-set,     imap-mailbox-acl-delete
54 ;;
55 ;; Message commands:
56 ;;
57 ;; imap-fetch-asynch,                 imap-fetch,
58 ;; imap-current-message,              imap-list-to-message-set,
59 ;; imap-message-get,                  imap-message-map
60 ;; imap-message-envelope-date,        imap-message-envelope-subject,
61 ;; imap-message-envelope-from,        imap-message-envelope-sender,
62 ;; imap-message-envelope-reply-to,    imap-message-envelope-to,
63 ;; imap-message-envelope-cc,          imap-message-envelope-bcc
64 ;; imap-message-envelope-in-reply-to, imap-message-envelope-message-id
65 ;; imap-message-body,                 imap-message-flag-permanent-p
66 ;; imap-message-flags-set,            imap-message-flags-del
67 ;; imap-message-flags-add,            imap-message-copyuid
68 ;; imap-message-copy,                 imap-message-appenduid
69 ;; imap-message-append,               imap-envelope-from
70 ;; imap-body-lines
71 ;;
72 ;; It is my hope that theese commands should be pretty self
73 ;; explanatory for someone that know IMAP.  All functions have
74 ;; additional documentation on how to invoke them.
75 ;;
76 ;; imap.el support RFC1730/2060 (IMAP4/IMAP4rev1), implemented IMAP
77 ;; extensions are RFC2195 (CRAM-MD5), RFC2086 (ACL), RFC2342
78 ;; (NAMESPACE), RFC2359 (UIDPLUS), the IMAP-part of RFC2595 (STARTTLS,
79 ;; LOGINDISABLED) (with use of external library starttls.el and
80 ;; program starttls) and the GSSAPI / kerberos V4 sections of RFC1731
81 ;; (with use of external program `imtest').  It also take advantage
82 ;; the UNSELECT extension in Cyrus IMAPD.
83 ;;
84 ;; Without the work of John McClary Prevost and Jim Radford this library
85 ;; would not have seen the light of day.  Many thanks.
86 ;;
87 ;; This is a transcript of short interactive session for demonstration
88 ;; purposes.
89 ;;
90 ;; (imap-open "my.mail.server")
91 ;; => " *imap* my.mail.server:0"
92 ;;
93 ;; The rest are invoked with current buffer as the buffer returned by
94 ;; `imap-open'.  It is possible to do all without this, but it would
95 ;; look ugly here since `buffer' is always the last argument for all
96 ;; imap.el API functions.
97 ;;
98 ;; (imap-authenticate "myusername" "mypassword")
99 ;; => auth
100 ;;
101 ;; (imap-mailbox-lsub "*")
102 ;; => ("INBOX.sentmail" "INBOX.private" "INBOX.draft" "INBOX.spam")
103 ;;
104 ;; (imap-mailbox-list "INBOX.n%")
105 ;; => ("INBOX.namedroppers" "INBOX.nnimap" "INBOX.ntbugtraq")
106 ;;
107 ;; (imap-mailbox-select "INBOX.nnimap")
108 ;; => "INBOX.nnimap"
109 ;;
110 ;; (imap-mailbox-get 'exists)
111 ;; => 166
112 ;;
113 ;; (imap-mailbox-get 'uidvalidity)
114 ;; => "908992622"
115 ;;
116 ;; (imap-search "FLAGGED SINCE 18-DEC-98")
117 ;; => (235 236)
118 ;;
119 ;; (imap-fetch 235 "RFC822.PEEK" 'RFC822)
120 ;; => "X-Sieve: cmu-sieve 1.3^M\nX-Username: <jas@pdc.kth.se>^M\r...."
121 ;;
122 ;; Todo:
123 ;;
124 ;; o Parse UIDs as strings? We need to overcome the 28 bit limit somehow.
125 ;; o Don't use `read' at all (important places already fixed)
126 ;; o Accept list of articles instead of message set string in most
127 ;;   imap-message-* functions.
128 ;;
129 ;; Revision history:
130 ;;
131 ;;  - 19991218 added starttls/digest-md5 patch,
132 ;;             by Daiki Ueno <ueno@ueda.info.waseda.ac.jp>
133 ;;             NB! you need SLIM for starttls.el and digest-md5.el
134 ;;  - 19991023 commited to pgnus
135 ;;
136
137 ;;; Code:
138
139 (eval-when-compile (require 'cl))
140 (eval-and-compile
141   (autoload 'base64-decode-string "base64")
142   (autoload 'base64-encode-string "base64")
143   (autoload 'starttls-open-stream "starttls")
144   (autoload 'starttls-negotiate "starttls")
145   (autoload 'digest-md5-parse-digest-challenge "digest-md5")
146   (autoload 'digest-md5-digest-response "digest-md5")
147   (autoload 'digest-md5-digest-uri "digest-md5")
148   (autoload 'digest-md5-challenge "digest-md5")
149   (autoload 'rfc2104-hash "rfc2104")
150   (autoload 'md5 "md5")
151   (autoload 'utf7-encode "utf7")
152   (autoload 'utf7-decode "utf7")
153   (autoload 'format-spec "format-spec")
154   (autoload 'format-spec-make "format-spec")
155   (autoload 'open-tls-stream "tls")
156   ;; Avoid use gnus-point-at-eol so we're independent of Gnus.  These
157   ;; days we have point-at-eol anyhow.
158   (if (fboundp 'point-at-eol)
159       (defalias 'imap-point-at-eol 'point-at-eol)
160     (defun imap-point-at-eol ()
161       (save-excursion
162         (end-of-line)
163         (point)))))
164
165 ;; User variables.
166
167 (defgroup imap nil
168   "Low-level IMAP issues."
169   :version "21.1"
170   :group 'mail)
171
172 (defcustom imap-kerberos4-program '("imtest -m kerberos_v4 -u %l -p %p %s"
173                                     "imtest -kp %s %p")
174   "List of strings containing commands for Kerberos 4 authentication.
175 %s is replaced with server hostname, %p with port to connect to, and
176 %l with the value of `imap-default-user'.  The program should accept
177 IMAP commands on stdin and return responses to stdout.  Each entry in
178 the list is tried until a successful connection is made."
179   :group 'imap
180   :type '(repeat string))
181
182 (defcustom imap-gssapi-program (list
183                                 (concat "gsasl --client --connect %s:%p "
184                                         "--imap --application-data "
185                                         "--mechanism GSSAPI "
186                                         "--authentication-id %l")
187                                 "imtest -m gssapi -u %l -p %p %s")
188   "List of strings containing commands for GSSAPI (krb5) authentication.
189 %s is replaced with server hostname, %p with port to connect to, and
190 %l with the value of `imap-default-user'.  The program should accept
191 IMAP commands on stdin and return responses to stdout.  Each entry in
192 the list is tried until a successful connection is made."
193   :group 'imap
194   :type '(repeat string))
195
196 (defcustom imap-ssl-program '("openssl s_client -quiet -ssl3 -connect %s:%p"
197                               "openssl s_client -quiet -ssl2 -connect %s:%p"
198                               "s_client -quiet -ssl3 -connect %s:%p"
199                               "s_client -quiet -ssl2 -connect %s:%p")
200   "A string, or list of strings, containing commands for SSL connections.
201 Within a string, %s is replaced with the server address and %p with
202 port number on server.  The program should accept IMAP commands on
203 stdin and return responses to stdout.  Each entry in the list is tried
204 until a successful connection is made."
205   :group 'imap
206   :type '(choice string
207                  (repeat string)))
208
209 (defcustom imap-shell-program '("ssh %s imapd"
210                                 "rsh %s imapd"
211                                 "ssh %g ssh %s imapd"
212                                 "rsh %g rsh %s imapd")
213   "A list of strings, containing commands for IMAP connection.
214 Within a string, %s is replaced with the server address, %p with port
215 number on server, %g with `imap-shell-host', and %l with
216 `imap-default-user'.  The program should read IMAP commands from stdin
217 and write IMAP response to stdout. Each entry in the list is tried
218 until a successful connection is made."
219   :group 'imap
220   :type '(repeat string))
221
222 (defcustom imap-process-connection-type nil
223   "*Value for `process-connection-type' to use for Kerberos4, GSSAPI and SSL.
224 The `process-connection-type' variable control type of device
225 used to communicate with subprocesses.  Values are nil to use a
226 pipe, or t or `pty' to use a pty.  The value has no effect if the
227 system has no ptys or if all ptys are busy: then a pipe is used
228 in any case.  The value takes effect when a IMAP server is
229 opened, changing it after that has no effect.."
230   :group 'imap
231   :type 'boolean)
232
233 (defcustom imap-use-utf7 t
234   "If non-nil, do utf7 encoding/decoding of mailbox names.
235 Since the UTF7 decoding currently only decodes into ISO-8859-1
236 characters, you may disable this decoding if you need to access UTF7
237 encoded mailboxes which doesn't translate into ISO-8859-1."
238   :group 'imap
239   :type 'boolean)
240
241 (defcustom imap-log nil
242   "If non-nil, a imap session trace is placed in *imap-log* buffer."
243   :group 'imap
244   :type 'boolean)
245
246 (defcustom imap-debug nil
247   "If non-nil, random debug spews are placed in *imap-debug* buffer."
248   :group 'imap
249   :type 'boolean)
250
251 (defcustom imap-shell-host "gateway"
252   "Hostname of rlogin proxy."
253   :group 'imap
254   :type 'string)
255
256 (defcustom imap-default-user (user-login-name)
257   "Default username to use."
258   :group 'imap
259   :type 'string)
260
261 (defcustom imap-read-timeout (if (string-match
262                                   "windows-nt\\|os/2\\|emx\\|cygwin"
263                                   (symbol-name system-type))
264                                  1.0
265                                0.1)
266   "*How long to wait between checking for the end of output.
267 Shorter values mean quicker response, but is more CPU intensive."
268   :type 'number
269   :group 'imap)
270
271 ;; Various variables.
272
273 (defvar imap-fetch-data-hook nil
274   "Hooks called after receiving each FETCH response.")
275
276 (defvar imap-streams '(gssapi kerberos4 starttls tls ssl network shell)
277   "Priority of streams to consider when opening connection to server.")
278
279 (defvar imap-stream-alist
280   '((gssapi    imap-gssapi-stream-p    imap-gssapi-open)
281     (kerberos4 imap-kerberos4-stream-p imap-kerberos4-open)
282     (tls       imap-tls-p              imap-tls-open)
283     (ssl       imap-ssl-p              imap-ssl-open)
284     (network   imap-network-p          imap-network-open)
285     (shell     imap-shell-p            imap-shell-open)
286     (starttls  imap-starttls-p         imap-starttls-open))
287   "Definition of network streams.
288
289 \(NAME CHECK OPEN)
290
291 NAME names the stream, CHECK is a function returning non-nil if the
292 server support the stream and OPEN is a function for opening the
293 stream.")
294
295 (defvar imap-authenticators '(gssapi
296                               kerberos4
297                               digest-md5
298                               cram-md5
299                               login
300                               anonymous)
301   "Priority of authenticators to consider when authenticating to server.")
302
303 (defvar imap-authenticator-alist
304   '((gssapi     imap-gssapi-auth-p    imap-gssapi-auth)
305     (kerberos4  imap-kerberos4-auth-p imap-kerberos4-auth)
306     (cram-md5   imap-cram-md5-p       imap-cram-md5-auth)
307     (login      imap-login-p          imap-login-auth)
308     (anonymous  imap-anonymous-p      imap-anonymous-auth)
309     (digest-md5 imap-digest-md5-p     imap-digest-md5-auth))
310   "Definition of authenticators.
311
312 \(NAME CHECK AUTHENTICATE)
313
314 NAME names the authenticator.  CHECK is a function returning non-nil if
315 the server support the authenticator and AUTHENTICATE is a function
316 for doing the actual authentication.")
317
318 (defvar imap-error nil
319   "Error codes from the last command.")
320
321 ;; Internal constants.  Change theese and die.
322
323 (defconst imap-default-port 143)
324 (defconst imap-default-ssl-port 993)
325 (defconst imap-default-tls-port 993)
326 (defconst imap-default-stream 'network)
327 (defconst imap-coding-system-for-read 'binary)
328 (defconst imap-coding-system-for-write 'binary)
329 (defconst imap-local-variables '(imap-server
330                                  imap-port
331                                  imap-client-eol
332                                  imap-server-eol
333                                  imap-auth
334                                  imap-stream
335                                  imap-username
336                                  imap-password
337                                  imap-current-mailbox
338                                  imap-current-target-mailbox
339                                  imap-message-data
340                                  imap-capability
341                                  imap-namespace
342                                  imap-state
343                                  imap-reached-tag
344                                  imap-failed-tags
345                                  imap-tag
346                                  imap-process
347                                  imap-calculate-literal-size-first
348                                  imap-mailbox-data))
349 (defconst imap-log-buffer "*imap-log*")
350 (defconst imap-debug-buffer "*imap-debug*")
351
352 ;; Internal variables.
353
354 (defvar imap-stream nil)
355 (defvar imap-auth nil)
356 (defvar imap-server nil)
357 (defvar imap-port nil)
358 (defvar imap-username nil)
359 (defvar imap-password nil)
360 (defvar imap-calculate-literal-size-first nil)
361 (defvar imap-state 'closed
362   "IMAP state.
363 Valid states are `closed', `initial', `nonauth', `auth', `selected'
364 and `examine'.")
365
366 (defvar imap-server-eol "\r\n"
367   "The EOL string sent from the server.")
368
369 (defvar imap-client-eol "\r\n"
370   "The EOL string we send to the server.")
371
372 (defvar imap-current-mailbox nil
373   "Current mailbox name.")
374
375 (defvar imap-current-target-mailbox nil
376   "Current target mailbox for COPY and APPEND commands.")
377
378 (defvar imap-mailbox-data nil
379   "Obarray with mailbox data.")
380
381 (defvar imap-mailbox-prime 997
382   "Length of imap-mailbox-data.")
383
384 (defvar imap-current-message nil
385   "Current message number.")
386
387 (defvar imap-message-data nil
388   "Obarray with message data.")
389
390 (defvar imap-message-prime 997
391   "Length of imap-message-data.")
392
393 (defvar imap-capability nil
394   "Capability for server.")
395
396 (defvar imap-namespace nil
397   "Namespace for current server.")
398
399 (defvar imap-reached-tag 0
400   "Lower limit on command tags that have been parsed.")
401
402 (defvar imap-failed-tags nil
403   "Alist of tags that failed.
404 Each element is a list with four elements; tag (a integer), response
405 state (a symbol, `OK', `NO' or `BAD'), response code (a string), and
406 human readable response text (a string).")
407
408 (defvar imap-tag 0
409   "Command tag number.")
410
411 (defvar imap-process nil
412   "Process.")
413
414 (defvar imap-continuation nil
415   "Non-nil indicates that the server emitted a continuation request.
416 The actual value is really the text on the continuation line.")
417
418 (defvar imap-callbacks nil
419   "List of response tags and callbacks, on the form `(number . function)'.
420 The function should take two arguments, the first the IMAP tag and the
421 second the status (OK, NO, BAD etc) of the command.")
422
423 \f
424 ;; Utility functions:
425
426 (defun imap-remassoc (key alist)
427   "Delete by side effect any elements of LIST whose car is `equal' to KEY.
428 The modified LIST is returned.  If the first member
429 of LIST has a car that is `equal' to KEY, there is no way to remove it
430 by side effect; therefore, write `(setq foo (remassoc key foo))' to be
431 sure of changing the value of `foo'."
432   (when alist
433     (if (equal key (caar alist))
434         (cdr alist)
435       (setcdr alist (imap-remassoc key (cdr alist)))
436       alist)))
437
438 (defsubst imap-disable-multibyte ()
439   "Enable multibyte in the current buffer."
440   (when (fboundp 'set-buffer-multibyte)
441     (set-buffer-multibyte nil)))
442
443 (defsubst imap-utf7-encode (string)
444   (if imap-use-utf7
445       (and string
446            (condition-case ()
447                (utf7-encode string t)
448              (error (message
449                      "imap: Could not UTF7 encode `%s', using it unencoded..."
450                      string)
451                     string)))
452     string))
453
454 (defsubst imap-utf7-decode (string)
455   (if imap-use-utf7
456       (and string
457            (condition-case ()
458                (utf7-decode string t)
459              (error (message
460                      "imap: Could not UTF7 decode `%s', using it undecoded..."
461                      string)
462                     string)))
463     string))
464
465 (defsubst imap-ok-p (status)
466   (if (eq status 'OK)
467       t
468     (setq imap-error status)
469     nil))
470
471 (defun imap-error-text (&optional buffer)
472   (with-current-buffer (or buffer (current-buffer))
473     (nth 3 (car imap-failed-tags))))
474
475 \f
476 ;; Server functions; stream stuff:
477
478 (defun imap-kerberos4-stream-p (buffer)
479   (imap-capability 'AUTH=KERBEROS_V4 buffer))
480
481 (defun imap-kerberos4-open (name buffer server port)
482   (let ((cmds imap-kerberos4-program)
483         cmd done)
484     (while (and (not done) (setq cmd (pop cmds)))
485       (message "Opening Kerberos 4 IMAP connection with `%s'..." cmd)
486       (erase-buffer)
487       (let* ((port (or port imap-default-port))
488              (coding-system-for-read imap-coding-system-for-read)
489              (coding-system-for-write imap-coding-system-for-write)
490              (process-connection-type imap-process-connection-type)
491              (process (start-process
492                        name buffer shell-file-name shell-command-switch
493                        (format-spec
494                         cmd
495                         (format-spec-make
496                          ?s server
497                          ?p (number-to-string port)
498                          ?l imap-default-user))))
499              response)
500         (when process
501           (with-current-buffer buffer
502             (setq imap-client-eol "\n"
503                   imap-calculate-literal-size-first t)
504             (while (and (memq (process-status process) '(open run))
505                         (set-buffer buffer) ;; XXX "blue moon" nntp.el bug
506                         (goto-char (point-min))
507                         ;; Athena IMTEST can output SSL verify errors
508                         (or (while (looking-at "^verify error:num=")
509                               (forward-line))
510                             t)
511                         (or (while (looking-at "^TLS connection established")
512                               (forward-line))
513                             t)
514                         ;; cyrus 1.6.x (13? < x <= 22) queries capabilities
515                         (or (while (looking-at "^C:")
516                               (forward-line))
517                             t)
518                         ;; cyrus 1.6 imtest print "S: " before server greeting
519                         (or (not (looking-at "S: "))
520                             (forward-char 3)
521                             t)
522                         (not (and (imap-parse-greeting)
523                                   ;; success in imtest < 1.6:
524                                   (or (re-search-forward
525                                        "^__\\(.*\\)__\n" nil t)
526                                       ;; success in imtest 1.6:
527                                       (re-search-forward
528                                        "^\\(Authenticat.*\\)" nil t))
529                                   (setq response (match-string 1)))))
530               (accept-process-output process 1)
531               (sit-for 1))
532             (and imap-log
533                  (with-current-buffer (get-buffer-create imap-log-buffer)
534                    (imap-disable-multibyte)
535                    (buffer-disable-undo)
536                    (goto-char (point-max))
537                    (insert-buffer-substring buffer)))
538             (erase-buffer)
539             (message "Opening Kerberos 4 IMAP connection with `%s'...%s" cmd
540                      (if response (concat "done, " response) "failed"))
541             (if (and response (let ((case-fold-search nil))
542                                 (not (string-match "failed" response))))
543                 (setq done process)
544               (if (memq (process-status process) '(open run))
545                   (imap-send-command "LOGOUT"))
546               (delete-process process)
547               nil)))))
548     done))
549
550 (defun imap-gssapi-stream-p (buffer)
551   (imap-capability 'AUTH=GSSAPI buffer))
552
553 (defun imap-gssapi-open (name buffer server port)
554   (let ((cmds imap-gssapi-program)
555         cmd done)
556     (while (and (not done) (setq cmd (pop cmds)))
557       (message "Opening GSSAPI IMAP connection with `%s'..." cmd)
558       (erase-buffer)
559       (let* ((port (or port imap-default-port))
560              (coding-system-for-read imap-coding-system-for-read)
561              (coding-system-for-write imap-coding-system-for-write)
562              (process-connection-type imap-process-connection-type)
563              (process (start-process
564                        name buffer shell-file-name shell-command-switch
565                        (format-spec
566                         cmd
567                         (format-spec-make
568                          ?s server
569                          ?p (number-to-string port)
570                          ?l imap-default-user))))
571              response)
572         (when process
573           (with-current-buffer buffer
574             (setq imap-client-eol "\n"
575                   imap-calculate-literal-size-first t)
576             (while (and (memq (process-status process) '(open run))
577                         (set-buffer buffer) ;; XXX "blue moon" nntp.el bug
578                         (goto-char (point-min))
579                         ;; cyrus 1.6.x (13? < x <= 22) queries capabilities
580                         (or (while (looking-at "^C:")
581                               (forward-line))
582                             t)
583                         ;; cyrus 1.6 imtest print "S: " before server greeting
584                         (or (not (looking-at "S: "))
585                             (forward-char 3)
586                             t)
587                         (not (and (imap-parse-greeting)
588                                   ;; success in imtest 1.6:
589                                   (re-search-forward
590                                    (concat "^\\(\\(Authenticat.*\\)\\|\\("
591                                            "Client authentication "
592                                            "finished.*\\)\\)")
593                                    nil t)
594                                   (setq response (match-string 1)))))
595               (accept-process-output process 1)
596               (sit-for 1))
597             (and imap-log
598                  (with-current-buffer (get-buffer-create imap-log-buffer)
599                    (imap-disable-multibyte)
600                    (buffer-disable-undo)
601                    (goto-char (point-max))
602                    (insert-buffer-substring buffer)))
603             (erase-buffer)
604             (message "GSSAPI IMAP connection: %s" (or response "failed"))
605             (if (and response (let ((case-fold-search nil))
606                                 (not (string-match "failed" response))))
607                 (setq done process)
608               (if (memq (process-status process) '(open run))
609                   (imap-send-command "LOGOUT"))
610               (delete-process process)
611               nil)))))
612     done))
613
614 (defun imap-ssl-p (buffer)
615   nil)
616
617 (defun imap-ssl-open (name buffer server port)
618   "Open a SSL connection to server."
619   (let ((cmds (if (listp imap-ssl-program) imap-ssl-program
620                 (list imap-ssl-program)))
621         cmd done)
622     (while (and (not done) (setq cmd (pop cmds)))
623       (message "imap: Opening SSL connection with `%s'..." cmd)
624       (erase-buffer)
625       (let* ((port (or port imap-default-ssl-port))
626              (coding-system-for-read imap-coding-system-for-read)
627              (coding-system-for-write imap-coding-system-for-write)
628              (process-connection-type nil)
629              process)
630         (when (progn
631                 (setq process (start-process
632                                name buffer shell-file-name
633                                shell-command-switch
634                                (format-spec cmd
635                                             (format-spec-make
636                                              ?s server
637                                              ?p (number-to-string port)))))
638                 (process-kill-without-query process)
639                 process)
640           (with-current-buffer buffer
641             (goto-char (point-min))
642             (while (and (memq (process-status process) '(open run))
643                         (set-buffer buffer) ;; XXX "blue moon" nntp.el bug
644                         (goto-char (point-max))
645                         (forward-line -1)
646                         (not (imap-parse-greeting)))
647               (accept-process-output process 1)
648               (sit-for 1))
649             (and imap-log
650                  (with-current-buffer (get-buffer-create imap-log-buffer)
651                    (imap-disable-multibyte)
652                    (buffer-disable-undo)
653                    (goto-char (point-max))
654                    (insert-buffer-substring buffer)))
655             (erase-buffer)
656             (when (memq (process-status process) '(open run))
657               (setq done process))))))
658     (if done
659         (progn
660           (message "imap: Opening SSL connection with `%s'...done" cmd)
661           done)
662       (message "imap: Opening SSL connection with `%s'...failed" cmd)
663       nil)))
664
665 (defun imap-tls-p (buffer)
666   nil)
667
668 (defun imap-tls-open (name buffer server port)
669   (let* ((port (or port imap-default-tls-port))
670          (coding-system-for-read imap-coding-system-for-read)
671          (coding-system-for-write imap-coding-system-for-write)
672          (process (open-tls-stream name buffer server port)))
673     (when process
674       (while (and (memq (process-status process) '(open run))
675                   (set-buffer buffer) ;; XXX "blue moon" nntp.el bug
676                   (goto-char (point-max))
677                   (forward-line -1)
678                   (not (imap-parse-greeting)))
679         (accept-process-output process 1)
680         (sit-for 1))
681       (and imap-log
682            (with-current-buffer (get-buffer-create imap-log-buffer)
683              (imap-disable-multibyte)
684              (buffer-disable-undo)
685              (goto-char (point-max))
686              (insert-buffer-substring buffer)))
687       (when (memq (process-status process) '(open run))
688         process))))
689
690 (defun imap-network-p (buffer)
691   t)
692
693 (defun imap-network-open (name buffer server port)
694   (let* ((port (or port imap-default-port))
695          (coding-system-for-read imap-coding-system-for-read)
696          (coding-system-for-write imap-coding-system-for-write)
697          (process (open-network-stream name buffer server port)))
698     (when process
699       (while (and (memq (process-status process) '(open run))
700                   (set-buffer buffer) ;; XXX "blue moon" nntp.el bug
701                   (goto-char (point-min))
702                   (not (imap-parse-greeting)))
703         (accept-process-output process 1)
704         (sit-for 1))
705       (and imap-log
706            (with-current-buffer (get-buffer-create imap-log-buffer)
707              (imap-disable-multibyte)
708              (buffer-disable-undo)
709              (goto-char (point-max))
710              (insert-buffer-substring buffer)))
711       (when (memq (process-status process) '(open run))
712         process))))
713
714 (defun imap-shell-p (buffer)
715   nil)
716
717 (defun imap-shell-open (name buffer server port)
718   (let ((cmds (if (listp imap-shell-program) imap-shell-program
719                 (list imap-shell-program)))
720         cmd done)
721     (while (and (not done) (setq cmd (pop cmds)))
722       (message "imap: Opening IMAP connection with `%s'..." cmd)
723       (setq imap-client-eol "\n")
724       (let* ((port (or port imap-default-port))
725              (coding-system-for-read imap-coding-system-for-read)
726              (coding-system-for-write imap-coding-system-for-write)
727              (process (start-process
728                        name buffer shell-file-name shell-command-switch
729                        (format-spec
730                         cmd
731                         (format-spec-make
732                          ?s server
733                          ?g imap-shell-host
734                          ?p (number-to-string port)
735                          ?l imap-default-user)))))
736         (when process
737           (while (and (memq (process-status process) '(open run))
738                       (set-buffer buffer) ;; XXX "blue moon" nntp.el bug
739                       (goto-char (point-max))
740                       (forward-line -1)
741                       (not (imap-parse-greeting)))
742             (accept-process-output process 1)
743             (sit-for 1))
744           (and imap-log
745                (with-current-buffer (get-buffer-create imap-log-buffer)
746                  (imap-disable-multibyte)
747                  (buffer-disable-undo)
748                  (goto-char (point-max))
749                  (insert-buffer-substring buffer)))
750           (erase-buffer)
751           (when (memq (process-status process) '(open run))
752             (setq done process)))))
753     (if done
754         (progn
755           (message "imap: Opening IMAP connection with `%s'...done" cmd)
756           done)
757       (message "imap: Opening IMAP connection with `%s'...failed" cmd)
758       nil)))
759
760 (defun imap-starttls-p (buffer)
761   (imap-capability 'STARTTLS buffer))
762
763 (defun imap-starttls-open (name buffer server port)
764   (let* ((port (or port imap-default-port))
765          (coding-system-for-read imap-coding-system-for-read)
766          (coding-system-for-write imap-coding-system-for-write)
767          (process (starttls-open-stream name buffer server port))
768          done tls-info)
769     (message "imap: Connecting with STARTTLS...")
770     (when process
771       (while (and (memq (process-status process) '(open run))
772                   (set-buffer buffer) ;; XXX "blue moon" nntp.el bug
773                   (goto-char (point-max))
774                   (forward-line -1)
775                   (not (imap-parse-greeting)))
776         (accept-process-output process 1)
777         (sit-for 1))
778       (imap-send-command "STARTTLS")
779       (while (and (memq (process-status process) '(open run))
780                   (set-buffer buffer) ;; XXX "blue moon" nntp.el bug
781                   (goto-char (point-max))
782                   (forward-line -1)
783                   (not (re-search-forward "[0-9]+ OK.*\r?\n" nil t)))
784         (accept-process-output process 1)
785         (sit-for 1))
786       (and imap-log
787            (with-current-buffer (get-buffer-create imap-log-buffer)
788              (buffer-disable-undo)
789              (goto-char (point-max))
790              (insert-buffer-substring buffer)))
791       (when (and (setq tls-info (starttls-negotiate process))
792                  (memq (process-status process) '(open run)))
793         (setq done process)))
794     (if (stringp tls-info)
795         (message "imap: STARTTLS info: %s" tls-info))
796     (message "imap: Connecting with STARTTLS...%s" (if done "done" "failed"))
797     done))
798
799 ;; Server functions; authenticator stuff:
800
801 (defun imap-interactive-login (buffer loginfunc)
802   "Login to server in BUFFER.
803 LOGINFUNC is passed a username and a password, it should return t if
804 it where successful authenticating itself to the server, nil otherwise.
805 Returns t if login was successful, nil otherwise."
806   (with-current-buffer buffer
807     (make-local-variable 'imap-username)
808     (make-local-variable 'imap-password)
809     (let (user passwd ret)
810       ;;      (condition-case ()
811       (while (or (not user) (not passwd))
812         (setq user (or imap-username
813                        (read-from-minibuffer
814                         (concat "IMAP username for " imap-server
815                                 " (using stream `" (symbol-name imap-stream)
816                                 "'): ")
817                         (or user imap-default-user))))
818         (setq passwd (or imap-password
819                          (read-passwd
820                           (concat "IMAP password for " user "@"
821                                   imap-server " (using authenticator `"
822                                   (symbol-name imap-auth) "'): "))))
823         (when (and user passwd)
824           (if (funcall loginfunc user passwd)
825               (progn
826                 (setq ret t
827                       imap-username user)
828                 (if (and (not imap-password)
829                          (y-or-n-p "Store password for this session? "))
830                     (setq imap-password passwd)))
831             (message "Login failed...")
832             (setq passwd nil)
833             (setq imap-password nil)
834             (sit-for 1))))
835       ;;        (quit (with-current-buffer buffer
836       ;;                (setq user nil
837       ;;                      passwd nil)))
838       ;;        (error (with-current-buffer buffer
839       ;;                 (setq user nil
840       ;;                       passwd nil))))
841       ret)))
842
843 (defun imap-gssapi-auth-p (buffer)
844   (and (imap-capability 'AUTH=GSSAPI buffer)
845        (eq imap-stream 'gssapi)))
846
847 (defun imap-gssapi-auth (buffer)
848   (message "imap: Authenticating using GSSAPI...%s"
849            (if (eq imap-stream 'gssapi) "done" "failed"))
850   (eq imap-stream 'gssapi))
851
852 (defun imap-kerberos4-auth-p (buffer)
853   (and (imap-capability 'AUTH=KERBEROS_V4 buffer)
854        (eq imap-stream 'kerberos4)))
855
856 (defun imap-kerberos4-auth (buffer)
857   (message "imap: Authenticating using Kerberos 4...%s"
858            (if (eq imap-stream 'kerberos4) "done" "failed"))
859   (eq imap-stream 'kerberos4))
860
861 (defun imap-cram-md5-p (buffer)
862   (imap-capability 'AUTH=CRAM-MD5 buffer))
863
864 (defun imap-cram-md5-auth (buffer)
865   "Login to server using the AUTH CRAM-MD5 method."
866   (message "imap: Authenticating using CRAM-MD5...")
867   (let ((done (imap-interactive-login
868                buffer
869                (lambda (user passwd)
870                  (imap-ok-p
871                   (imap-send-command-wait
872                    (list
873                     "AUTHENTICATE CRAM-MD5"
874                     (lambda (challenge)
875                       (let* ((decoded (base64-decode-string challenge))
876                              (hash (rfc2104-hash 'md5 64 16 passwd decoded))
877                              (response (concat user " " hash))
878                              (encoded (base64-encode-string response)))
879                         encoded)))))))))
880     (if done
881         (message "imap: Authenticating using CRAM-MD5...done")
882       (message "imap: Authenticating using CRAM-MD5...failed"))))
883
884 (defun imap-login-p (buffer)
885   (and (not (imap-capability 'LOGINDISABLED buffer))
886        (not (imap-capability 'X-LOGIN-CMD-DISABLED buffer))))
887
888 (defun imap-login-auth (buffer)
889   "Login to server using the LOGIN command."
890   (message "imap: Plaintext authentication...")
891   (imap-interactive-login buffer
892                           (lambda (user passwd)
893                             (imap-ok-p (imap-send-command-wait
894                                         (concat "LOGIN \"" user "\" \""
895                                                 passwd "\""))))))
896
897 (defun imap-anonymous-p (buffer)
898   t)
899
900 (defun imap-anonymous-auth (buffer)
901   (message "imap: Logging in anonymously...")
902   (with-current-buffer buffer
903     (imap-ok-p (imap-send-command-wait
904                 (concat "LOGIN anonymous \"" (concat (user-login-name) "@"
905                                                      (system-name)) "\"")))))
906
907 (defun imap-digest-md5-p (buffer)
908   (and (imap-capability 'AUTH=DIGEST-MD5 buffer)
909        (condition-case ()
910            (require 'digest-md5)
911          (error nil))))
912
913 (defun imap-digest-md5-auth (buffer)
914   "Login to server using the AUTH DIGEST-MD5 method."
915   (message "imap: Authenticating using DIGEST-MD5...")
916   (imap-interactive-login
917    buffer
918    (lambda (user passwd)
919      (let ((tag
920             (imap-send-command
921              (list
922               "AUTHENTICATE DIGEST-MD5"
923               (lambda (challenge)
924                 (digest-md5-parse-digest-challenge
925                  (base64-decode-string challenge))
926                 (let* ((digest-uri
927                         (digest-md5-digest-uri
928                          "imap" (digest-md5-challenge 'realm)))
929                        (response
930                         (digest-md5-digest-response
931                          user passwd digest-uri)))
932                   (base64-encode-string response 'no-line-break))))
933              )))
934        (if (not (eq (imap-wait-for-tag tag) 'INCOMPLETE))
935            nil
936          (setq imap-continuation nil)
937          (imap-send-command-1 "")
938          (imap-ok-p (imap-wait-for-tag tag)))))))
939
940 ;; Server functions:
941
942 (defun imap-open-1 (buffer)
943   (with-current-buffer buffer
944     (erase-buffer)
945     (setq imap-current-mailbox nil
946           imap-current-message nil
947           imap-state 'initial
948           imap-process (condition-case ()
949                            (funcall (nth 2 (assq imap-stream
950                                                  imap-stream-alist))
951                                     "imap" buffer imap-server imap-port)
952                          ((error quit) nil)))
953     (when imap-process
954       (set-process-filter imap-process 'imap-arrival-filter)
955       (set-process-sentinel imap-process 'imap-sentinel)
956       (while (and (eq imap-state 'initial)
957                   (memq (process-status imap-process) '(open run)))
958         (message "Waiting for response from %s..." imap-server)
959         (accept-process-output imap-process 1))
960       (message "Waiting for response from %s...done" imap-server)
961       (and (memq (process-status imap-process) '(open run))
962            imap-process))))
963
964 (defun imap-open (server &optional port stream auth buffer)
965   "Open a IMAP connection to host SERVER at PORT returning a buffer.
966 If PORT is unspecified, a default value is used (143 except
967 for SSL which use 993).
968 STREAM indicates the stream to use, see `imap-streams' for available
969 streams.  If nil, it choices the best stream the server is capable of.
970 AUTH indicates authenticator to use, see `imap-authenticators' for
971 available authenticators.  If nil, it choices the best stream the
972 server is capable of.
973 BUFFER can be a buffer or a name of a buffer, which is created if
974 necessary.  If nil, the buffer name is generated."
975   (setq buffer (or buffer (format " *imap* %s:%d" server (or port 0))))
976   (with-current-buffer (get-buffer-create buffer)
977     (if (imap-opened buffer)
978         (imap-close buffer))
979     (mapcar 'make-local-variable imap-local-variables)
980     (imap-disable-multibyte)
981     (buffer-disable-undo)
982     (setq imap-server (or server imap-server))
983     (setq imap-port (or port imap-port))
984     (setq imap-auth (or auth imap-auth))
985     (setq imap-stream (or stream imap-stream))
986     (message "imap: Connecting to %s..." imap-server)
987     (if (null (let ((imap-stream (or imap-stream imap-default-stream)))
988                 (imap-open-1 buffer)))
989         (progn
990           (message "imap: Connecting to %s...failed" imap-server)
991           nil)
992       (when (null imap-stream)
993         ;; Need to choose stream.
994         (let ((streams imap-streams))
995           (while (setq stream (pop streams))
996             ;; OK to use this stream?
997             (when (funcall (nth 1 (assq stream imap-stream-alist)) buffer)
998               ;; Stream changed?
999               (if (not (eq imap-default-stream stream))
1000                   (with-current-buffer (get-buffer-create
1001                                         (generate-new-buffer-name " *temp*"))
1002                     (mapcar 'make-local-variable imap-local-variables)
1003                     (imap-disable-multibyte)
1004                     (buffer-disable-undo)
1005                     (setq imap-server (or server imap-server))
1006                     (setq imap-port (or port imap-port))
1007                     (setq imap-auth (or auth imap-auth))
1008                     (message "imap: Reconnecting with stream `%s'..." stream)
1009                     (if (null (let ((imap-stream stream))
1010                                 (imap-open-1 (current-buffer))))
1011                         (progn
1012                           (kill-buffer (current-buffer))
1013                           (message
1014                            "imap: Reconnecting with stream `%s'...failed"
1015                            stream))
1016                       ;; We're done, kill the first connection
1017                       (imap-close buffer)
1018                       (kill-buffer buffer)
1019                       (rename-buffer buffer)
1020                       (message "imap: Reconnecting with stream `%s'...done"
1021                                stream)
1022                       (setq imap-stream stream)
1023                       (setq imap-capability nil)
1024                       (setq streams nil)))
1025                 ;; We're done
1026                 (message "imap: Connecting to %s...done" imap-server)
1027                 (setq imap-stream stream)
1028                 (setq imap-capability nil)
1029                 (setq streams nil))))))
1030       (when (imap-opened buffer)
1031         (setq imap-mailbox-data (make-vector imap-mailbox-prime 0)))
1032       (when imap-stream
1033         buffer))))
1034
1035 (defun imap-opened (&optional buffer)
1036   "Return non-nil if connection to imap server in BUFFER is open.
1037 If BUFFER is nil then the current buffer is used."
1038   (and (setq buffer (get-buffer (or buffer (current-buffer))))
1039        (buffer-live-p buffer)
1040        (with-current-buffer buffer
1041          (and imap-process
1042               (memq (process-status imap-process) '(open run))))))
1043
1044 (defun imap-authenticate (&optional user passwd buffer)
1045   "Authenticate to server in BUFFER, using current buffer if nil.
1046 It uses the authenticator specified when opening the server.  If the
1047 authenticator requires username/passwords, they are queried from the
1048 user and optionally stored in the buffer.  If USER and/or PASSWD is
1049 specified, the user will not be questioned and the username and/or
1050 password is remembered in the buffer."
1051   (with-current-buffer (or buffer (current-buffer))
1052     (if (not (eq imap-state 'nonauth))
1053         (or (eq imap-state 'auth)
1054             (eq imap-state 'select)
1055             (eq imap-state 'examine))
1056       (make-local-variable 'imap-username)
1057       (make-local-variable 'imap-password)
1058       (if user (setq imap-username user))
1059       (if passwd (setq imap-password passwd))
1060       (if imap-auth
1061           (and (funcall (nth 2 (assq imap-auth
1062                                      imap-authenticator-alist)) buffer)
1063                (setq imap-state 'auth))
1064         ;; Choose authenticator.
1065         (let ((auths imap-authenticators)
1066               auth)
1067           (while (setq auth (pop auths))
1068             ;; OK to use authenticator?
1069             (when (funcall (nth 1 (assq auth imap-authenticator-alist)) buffer)
1070               (message "imap: Authenticating to `%s' using `%s'..."
1071                        imap-server auth)
1072               (setq imap-auth auth)
1073               (if (funcall (nth 2 (assq auth imap-authenticator-alist)) buffer)
1074                   (progn
1075                     (message "imap: Authenticating to `%s' using `%s'...done"
1076                              imap-server auth)
1077                     (setq auths nil))
1078                 (message "imap: Authenticating to `%s' using `%s'...failed"
1079                          imap-server auth)))))
1080         imap-state))))
1081
1082 (defun imap-close (&optional buffer)
1083   "Close connection to server in BUFFER.
1084 If BUFFER is nil, the current buffer is used."
1085   (with-current-buffer (or buffer (current-buffer))
1086     (when (imap-opened)
1087       (condition-case nil
1088           (imap-send-command-wait "LOGOUT")
1089         (quit nil)))
1090     (when (and imap-process
1091                (memq (process-status imap-process) '(open run)))
1092       (delete-process imap-process))
1093     (setq imap-current-mailbox nil
1094           imap-current-message nil
1095           imap-process nil)
1096     (erase-buffer)
1097     t))
1098
1099 (defun imap-capability (&optional identifier buffer)
1100   "Return a list of identifiers which server in BUFFER support.
1101 If IDENTIFIER, return non-nil if it's among the servers capabilities.
1102 If BUFFER is nil, the current buffer is assumed."
1103   (with-current-buffer (or buffer (current-buffer))
1104     (unless imap-capability
1105       (unless (imap-ok-p (imap-send-command-wait "CAPABILITY"))
1106         (setq imap-capability '(IMAP2))))
1107     (if identifier
1108         (memq (intern (upcase (symbol-name identifier))) imap-capability)
1109       imap-capability)))
1110
1111 (defun imap-namespace (&optional buffer)
1112   "Return a namespace hierarchy at server in BUFFER.
1113 If BUFFER is nil, the current buffer is assumed."
1114   (with-current-buffer (or buffer (current-buffer))
1115     (unless imap-namespace
1116       (when (imap-capability 'NAMESPACE)
1117         (imap-send-command-wait "NAMESPACE")))
1118     imap-namespace))
1119
1120 (defun imap-send-command-wait (command &optional buffer)
1121   (imap-wait-for-tag (imap-send-command command buffer) buffer))
1122
1123 \f
1124 ;; Mailbox functions:
1125
1126 (defun imap-mailbox-put (propname value &optional mailbox buffer)
1127   (with-current-buffer (or buffer (current-buffer))
1128     (if imap-mailbox-data
1129         (put (intern (or mailbox imap-current-mailbox) imap-mailbox-data)
1130              propname value)
1131       (error "Imap-mailbox-data is nil, prop %s value %s mailbox %s buffer %s"
1132              propname value mailbox (current-buffer)))
1133     t))
1134
1135 (defsubst imap-mailbox-get-1 (propname &optional mailbox)
1136   (get (intern-soft (or mailbox imap-current-mailbox) imap-mailbox-data)
1137        propname))
1138
1139 (defun imap-mailbox-get (propname &optional mailbox buffer)
1140   (let ((mailbox (imap-utf7-encode mailbox)))
1141     (with-current-buffer (or buffer (current-buffer))
1142       (imap-mailbox-get-1 propname (or mailbox imap-current-mailbox)))))
1143
1144 (defun imap-mailbox-map-1 (func &optional mailbox-decoder buffer)
1145   (with-current-buffer (or buffer (current-buffer))
1146     (let (result)
1147       (mapatoms
1148        (lambda (s)
1149          (push (funcall func (if mailbox-decoder
1150                                  (funcall mailbox-decoder (symbol-name s))
1151                                (symbol-name s))) result))
1152        imap-mailbox-data)
1153       result)))
1154
1155 (defun imap-mailbox-map (func &optional buffer)
1156   "Map a function across each mailbox in `imap-mailbox-data', returning a list.
1157 Function should take a mailbox name (a string) as
1158 the only argument."
1159   (imap-mailbox-map-1 func 'imap-utf7-decode buffer))
1160
1161 (defun imap-current-mailbox (&optional buffer)
1162   (with-current-buffer (or buffer (current-buffer))
1163     (imap-utf7-decode imap-current-mailbox)))
1164
1165 (defun imap-current-mailbox-p-1 (mailbox &optional examine)
1166   (and (string= mailbox imap-current-mailbox)
1167        (or (and examine
1168                 (eq imap-state 'examine))
1169            (and (not examine)
1170                 (eq imap-state 'selected)))))
1171
1172 (defun imap-current-mailbox-p (mailbox &optional examine buffer)
1173   (with-current-buffer (or buffer (current-buffer))
1174     (imap-current-mailbox-p-1 (imap-utf7-encode mailbox) examine)))
1175
1176 (defun imap-mailbox-select-1 (mailbox &optional examine)
1177   "Select MAILBOX on server in BUFFER.
1178 If EXAMINE is non-nil, do a read-only select."
1179   (if (imap-current-mailbox-p-1 mailbox examine)
1180       imap-current-mailbox
1181     (setq imap-current-mailbox mailbox)
1182     (if (imap-ok-p (imap-send-command-wait
1183                     (concat (if examine "EXAMINE" "SELECT") " \""
1184                             mailbox "\"")))
1185         (progn
1186           (setq imap-message-data (make-vector imap-message-prime 0)
1187                 imap-state (if examine 'examine 'selected))
1188           imap-current-mailbox)
1189       ;; Failed SELECT/EXAMINE unselects current mailbox
1190       (setq imap-current-mailbox nil))))
1191
1192 (defun imap-mailbox-select (mailbox &optional examine buffer)
1193   (with-current-buffer (or buffer (current-buffer))
1194     (imap-utf7-decode
1195      (imap-mailbox-select-1 (imap-utf7-encode mailbox) examine))))
1196
1197 (defun imap-mailbox-examine-1 (mailbox &optional buffer)
1198   (with-current-buffer (or buffer (current-buffer))
1199     (imap-mailbox-select-1 mailbox 'examine)))
1200
1201 (defun imap-mailbox-examine (mailbox &optional buffer)
1202   "Examine MAILBOX on server in BUFFER."
1203   (imap-mailbox-select mailbox 'examine buffer))
1204
1205 (defun imap-mailbox-unselect (&optional buffer)
1206   "Close current folder in BUFFER, without expunging articles."
1207   (with-current-buffer (or buffer (current-buffer))
1208     (when (or (eq imap-state 'auth)
1209               (and (imap-capability 'UNSELECT)
1210                    (imap-ok-p (imap-send-command-wait "UNSELECT")))
1211               (and (imap-ok-p
1212                     (imap-send-command-wait (concat "EXAMINE \""
1213                                                     imap-current-mailbox
1214                                                     "\"")))
1215                    (imap-ok-p (imap-send-command-wait "CLOSE"))))
1216       (setq imap-current-mailbox nil
1217             imap-message-data nil
1218             imap-state 'auth)
1219       t)))
1220
1221 (defun imap-mailbox-expunge (&optional asynch buffer)
1222   "Expunge articles in current folder in BUFFER.
1223 If ASYNCH, do not wait for succesful completion of the command.
1224 If BUFFER is nil the current buffer is assumed."
1225   (with-current-buffer (or buffer (current-buffer))
1226     (when (and imap-current-mailbox (not (eq imap-state 'examine)))
1227       (if asynch
1228           (imap-send-command "EXPUNGE")
1229       (imap-ok-p (imap-send-command-wait "EXPUNGE"))))))
1230
1231 (defun imap-mailbox-close (&optional asynch buffer)
1232   "Expunge articles and close current folder in BUFFER.
1233 If ASYNCH, do not wait for succesful completion of the command.
1234 If BUFFER is nil the current buffer is assumed."
1235   (with-current-buffer (or buffer (current-buffer))
1236     (when imap-current-mailbox
1237       (if asynch
1238           (imap-add-callback (imap-send-command "CLOSE")
1239                              `(lambda (tag status)
1240                                 (message "IMAP mailbox `%s' closed... %s"
1241                                          imap-current-mailbox status)
1242                                 (when (eq ,imap-current-mailbox
1243                                           imap-current-mailbox)
1244                                   ;; Don't wipe out data if another mailbox
1245                                   ;; was selected...
1246                                   (setq imap-current-mailbox nil
1247                                         imap-message-data nil
1248                                         imap-state 'auth))))
1249         (when (imap-ok-p (imap-send-command-wait "CLOSE"))
1250           (setq imap-current-mailbox nil
1251                 imap-message-data nil
1252                 imap-state 'auth)))
1253       t)))
1254
1255 (defun imap-mailbox-create-1 (mailbox)
1256   (imap-ok-p (imap-send-command-wait (list "CREATE \"" mailbox "\""))))
1257
1258 (defun imap-mailbox-create (mailbox &optional buffer)
1259   "Create MAILBOX on server in BUFFER.
1260 If BUFFER is nil the current buffer is assumed."
1261   (with-current-buffer (or buffer (current-buffer))
1262     (imap-mailbox-create-1 (imap-utf7-encode mailbox))))
1263
1264 (defun imap-mailbox-delete (mailbox &optional buffer)
1265   "Delete MAILBOX on server in BUFFER.
1266 If BUFFER is nil the current buffer is assumed."
1267   (let ((mailbox (imap-utf7-encode mailbox)))
1268     (with-current-buffer (or buffer (current-buffer))
1269       (imap-ok-p
1270        (imap-send-command-wait (list "DELETE \"" mailbox "\""))))))
1271
1272 (defun imap-mailbox-rename (oldname newname &optional buffer)
1273   "Rename mailbox OLDNAME to NEWNAME on server in BUFFER.
1274 If BUFFER is nil the current buffer is assumed."
1275   (let ((oldname (imap-utf7-encode oldname))
1276         (newname (imap-utf7-encode newname)))
1277     (with-current-buffer (or buffer (current-buffer))
1278       (imap-ok-p
1279        (imap-send-command-wait (list "RENAME \"" oldname "\" "
1280                                      "\"" newname "\""))))))
1281
1282 (defun imap-mailbox-lsub (&optional root reference add-delimiter buffer)
1283   "Return a list of subscribed mailboxes on server in BUFFER.
1284 If ROOT is non-nil, only list matching mailboxes.  If ADD-DELIMITER is
1285 non-nil, a hierarchy delimiter is added to root.  REFERENCE is a
1286 implementation-specific string that has to be passed to lsub command."
1287   (with-current-buffer (or buffer (current-buffer))
1288     ;; Make sure we know the hierarchy separator for root's hierarchy
1289     (when (and add-delimiter (null (imap-mailbox-get-1 'delimiter root)))
1290       (imap-send-command-wait (concat "LIST \"" reference "\" \""
1291                                       (imap-utf7-encode root) "\"")))
1292     ;; clear list data (NB not delimiter and other stuff)
1293     (imap-mailbox-map-1 (lambda (mailbox)
1294                           (imap-mailbox-put 'lsub nil mailbox)))
1295     (when (imap-ok-p
1296            (imap-send-command-wait
1297             (concat "LSUB \"" reference "\" \"" (imap-utf7-encode root)
1298                     (and add-delimiter (imap-mailbox-get-1 'delimiter root))
1299                     "%\"")))
1300       (let (out)
1301         (imap-mailbox-map-1 (lambda (mailbox)
1302                               (when (imap-mailbox-get-1 'lsub mailbox)
1303                                 (push (imap-utf7-decode mailbox) out))))
1304         (nreverse out)))))
1305
1306 (defun imap-mailbox-list (root &optional reference add-delimiter buffer)
1307   "Return a list of mailboxes matching ROOT on server in BUFFER.
1308 If ADD-DELIMITER is non-nil, a hierarchy delimiter is added to
1309 root.  REFERENCE is a implementation-specific string that has to be
1310 passed to list command."
1311   (with-current-buffer (or buffer (current-buffer))
1312     ;; Make sure we know the hierarchy separator for root's hierarchy
1313     (when (and add-delimiter (null (imap-mailbox-get-1 'delimiter root)))
1314       (imap-send-command-wait (concat "LIST \"" reference "\" \""
1315                                       (imap-utf7-encode root) "\"")))
1316     ;; clear list data (NB not delimiter and other stuff)
1317     (imap-mailbox-map-1 (lambda (mailbox)
1318                           (imap-mailbox-put 'list nil mailbox)))
1319     (when (imap-ok-p
1320            (imap-send-command-wait
1321             (concat "LIST \"" reference "\" \"" (imap-utf7-encode root)
1322                     (and add-delimiter (imap-mailbox-get-1 'delimiter root))
1323                     "%\"")))
1324       (let (out)
1325         (imap-mailbox-map-1 (lambda (mailbox)
1326                               (when (imap-mailbox-get-1 'list mailbox)
1327                                 (push (imap-utf7-decode mailbox) out))))
1328         (nreverse out)))))
1329
1330 (defun imap-mailbox-subscribe (mailbox &optional buffer)
1331   "Send the SUBSCRIBE command on the mailbox to server in BUFFER.
1332 Returns non-nil if successful."
1333   (with-current-buffer (or buffer (current-buffer))
1334     (imap-ok-p (imap-send-command-wait (concat "SUBSCRIBE \""
1335                                                (imap-utf7-encode mailbox)
1336                                                "\"")))))
1337
1338 (defun imap-mailbox-unsubscribe (mailbox &optional buffer)
1339   "Send the SUBSCRIBE command on the mailbox to server in BUFFER.
1340 Returns non-nil if successful."
1341   (with-current-buffer (or buffer (current-buffer))
1342     (imap-ok-p (imap-send-command-wait (concat "UNSUBSCRIBE "
1343                                                (imap-utf7-encode mailbox)
1344                                                "\"")))))
1345
1346 (defun imap-mailbox-status (mailbox items &optional buffer)
1347   "Get status items ITEM in MAILBOX from server in BUFFER.
1348 ITEMS can be a symbol or a list of symbols, valid symbols are one of
1349 the STATUS data items -- ie 'messages, 'recent, 'uidnext, 'uidvalidity
1350 or 'unseen.  If ITEMS is a list of symbols, a list of values is
1351 returned, if ITEMS is a symbol only its value is returned."
1352   (with-current-buffer (or buffer (current-buffer))
1353     (when (imap-ok-p
1354            (imap-send-command-wait (list "STATUS \""
1355                                          (imap-utf7-encode mailbox)
1356                                          "\" "
1357                                          (upcase
1358                                           (format "%s"
1359                                                   (if (listp items)
1360                                                       items
1361                                                     (list items)))))))
1362       (if (listp items)
1363           (mapcar (lambda (item)
1364                     (imap-mailbox-get item mailbox))
1365                   items)
1366         (imap-mailbox-get items mailbox)))))
1367
1368 (defun imap-mailbox-status-asynch (mailbox items &optional buffer)
1369   "Send status item request ITEM on MAILBOX to server in BUFFER.
1370 ITEMS can be a symbol or a list of symbols, valid symbols are one of
1371 the STATUS data items -- ie 'messages, 'recent, 'uidnext, 'uidvalidity
1372 or 'unseen.  The IMAP command tag is returned."
1373   (with-current-buffer (or buffer (current-buffer))
1374     (imap-send-command (list "STATUS \""
1375                              (imap-utf7-encode mailbox)
1376                              "\" "
1377                              (format "%s"
1378                                      (if (listp items)
1379                                          items
1380                                        (list items)))))))
1381
1382 (defun imap-mailbox-acl-get (&optional mailbox buffer)
1383   "Get ACL on mailbox from server in BUFFER."
1384   (let ((mailbox (imap-utf7-encode mailbox)))
1385     (with-current-buffer (or buffer (current-buffer))
1386       (when (imap-ok-p
1387              (imap-send-command-wait (list "GETACL \""
1388                                            (or mailbox imap-current-mailbox)
1389                                            "\"")))
1390         (imap-mailbox-get-1 'acl (or mailbox imap-current-mailbox))))))
1391
1392 (defun imap-mailbox-acl-set (identifier rights &optional mailbox buffer)
1393   "Change/set ACL for IDENTIFIER to RIGHTS in MAILBOX from server in BUFFER."
1394   (let ((mailbox (imap-utf7-encode mailbox)))
1395     (with-current-buffer (or buffer (current-buffer))
1396       (imap-ok-p
1397        (imap-send-command-wait (list "SETACL \""
1398                                      (or mailbox imap-current-mailbox)
1399                                      "\" "
1400                                      identifier
1401                                      " "
1402                                      rights))))))
1403
1404 (defun imap-mailbox-acl-delete (identifier &optional mailbox buffer)
1405   "Removes any <identifier,rights> pair for IDENTIFIER in MAILBOX from server in BUFFER."
1406   (let ((mailbox (imap-utf7-encode mailbox)))
1407     (with-current-buffer (or buffer (current-buffer))
1408       (imap-ok-p
1409        (imap-send-command-wait (list "DELETEACL \""
1410                                      (or mailbox imap-current-mailbox)
1411                                      "\" "
1412                                      identifier))))))
1413
1414 \f
1415 ;; Message functions:
1416
1417 (defun imap-current-message (&optional buffer)
1418   (with-current-buffer (or buffer (current-buffer))
1419     imap-current-message))
1420
1421 (defun imap-list-to-message-set (list)
1422   (mapconcat (lambda (item)
1423                (number-to-string item))
1424              (if (listp list)
1425                  list
1426                (list list))
1427              ","))
1428
1429 (defun imap-range-to-message-set (range)
1430   (mapconcat
1431    (lambda (item)
1432      (if (consp item)
1433          (format "%d:%d"
1434                  (car item) (cdr item))
1435        (format "%d" item)))
1436    (if (and (listp range) (not (listp (cdr range))))
1437        (list range) ;; make (1 . 2) into ((1 . 2))
1438      range)
1439    ","))
1440
1441 (defun imap-fetch-asynch (uids props &optional nouidfetch buffer)
1442   (with-current-buffer (or buffer (current-buffer))
1443     (imap-send-command (format "%sFETCH %s %s" (if nouidfetch "" "UID ")
1444                                (if (listp uids)
1445                                    (imap-list-to-message-set uids)
1446                                  uids)
1447                                props))))
1448
1449 (defun imap-fetch (uids props &optional receive nouidfetch buffer)
1450   "Fetch properties PROPS from message set UIDS from server in BUFFER.
1451 UIDS can be a string, number or a list of numbers.  If RECEIVE
1452 is non-nil return theese properties."
1453   (with-current-buffer (or buffer (current-buffer))
1454     (when (imap-ok-p (imap-send-command-wait
1455                       (format "%sFETCH %s %s" (if nouidfetch "" "UID ")
1456                               (if (listp uids)
1457                                   (imap-list-to-message-set uids)
1458                                 uids)
1459                               props)))
1460       (if (or (null receive) (stringp uids))
1461           t
1462         (if (listp uids)
1463             (mapcar (lambda (uid)
1464                       (if (listp receive)
1465                           (mapcar (lambda (prop)
1466                                     (imap-message-get uid prop))
1467                                   receive)
1468                         (imap-message-get uid receive)))
1469                     uids)
1470           (imap-message-get uids receive))))))
1471
1472 (defun imap-message-put (uid propname value &optional buffer)
1473   (with-current-buffer (or buffer (current-buffer))
1474     (if imap-message-data
1475         (put (intern (number-to-string uid) imap-message-data)
1476              propname value)
1477       (error "Imap-message-data is nil, uid %s prop %s value %s buffer %s"
1478              uid propname value (current-buffer)))
1479     t))
1480
1481 (defun imap-message-get (uid propname &optional buffer)
1482   (with-current-buffer (or buffer (current-buffer))
1483     (get (intern-soft (number-to-string uid) imap-message-data)
1484          propname)))
1485
1486 (defun imap-message-map (func propname &optional buffer)
1487   "Map a function across each mailbox in `imap-message-data', returning a list."
1488   (with-current-buffer (or buffer (current-buffer))
1489     (let (result)
1490       (mapatoms
1491        (lambda (s)
1492          (push (funcall func (get s 'UID) (get s propname)) result))
1493        imap-message-data)
1494       result)))
1495
1496 (defmacro imap-message-envelope-date (uid &optional buffer)
1497   `(with-current-buffer (or ,buffer (current-buffer))
1498      (elt (imap-message-get ,uid 'ENVELOPE) 0)))
1499
1500 (defmacro imap-message-envelope-subject (uid &optional buffer)
1501   `(with-current-buffer (or ,buffer (current-buffer))
1502      (elt (imap-message-get ,uid 'ENVELOPE) 1)))
1503
1504 (defmacro imap-message-envelope-from (uid &optional buffer)
1505   `(with-current-buffer (or ,buffer (current-buffer))
1506      (elt (imap-message-get ,uid 'ENVELOPE) 2)))
1507
1508 (defmacro imap-message-envelope-sender (uid &optional buffer)
1509   `(with-current-buffer (or ,buffer (current-buffer))
1510      (elt (imap-message-get ,uid 'ENVELOPE) 3)))
1511
1512 (defmacro imap-message-envelope-reply-to (uid &optional buffer)
1513   `(with-current-buffer (or ,buffer (current-buffer))
1514      (elt (imap-message-get ,uid 'ENVELOPE) 4)))
1515
1516 (defmacro imap-message-envelope-to (uid &optional buffer)
1517   `(with-current-buffer (or ,buffer (current-buffer))
1518      (elt (imap-message-get ,uid 'ENVELOPE) 5)))
1519
1520 (defmacro imap-message-envelope-cc (uid &optional buffer)
1521   `(with-current-buffer (or ,buffer (current-buffer))
1522      (elt (imap-message-get ,uid 'ENVELOPE) 6)))
1523
1524 (defmacro imap-message-envelope-bcc (uid &optional buffer)
1525   `(with-current-buffer (or ,buffer (current-buffer))
1526      (elt (imap-message-get ,uid 'ENVELOPE) 7)))
1527
1528 (defmacro imap-message-envelope-in-reply-to (uid &optional buffer)
1529   `(with-current-buffer (or ,buffer (current-buffer))
1530      (elt (imap-message-get ,uid 'ENVELOPE) 8)))
1531
1532 (defmacro imap-message-envelope-message-id (uid &optional buffer)
1533   `(with-current-buffer (or ,buffer (current-buffer))
1534      (elt (imap-message-get ,uid 'ENVELOPE) 9)))
1535
1536 (defmacro imap-message-body (uid &optional buffer)
1537   `(with-current-buffer (or ,buffer (current-buffer))
1538      (imap-message-get ,uid 'BODY)))
1539
1540 (defun imap-search (predicate &optional buffer)
1541   (with-current-buffer (or buffer (current-buffer))
1542     (imap-mailbox-put 'search 'dummy)
1543     (when (imap-ok-p (imap-send-command-wait (concat "UID SEARCH " predicate)))
1544       (if (eq (imap-mailbox-get-1 'search imap-current-mailbox) 'dummy)
1545           (progn
1546             (message "Missing SEARCH response to a SEARCH command (server not RFC compliant)...")
1547             nil)
1548         (imap-mailbox-get-1 'search imap-current-mailbox)))))
1549
1550 (defun imap-message-flag-permanent-p (flag &optional mailbox buffer)
1551   "Return t iff FLAG can be permanently (between IMAP sessions) saved on articles, in MAILBOX on server in BUFFER."
1552   (with-current-buffer (or buffer (current-buffer))
1553     (or (member "\\*" (imap-mailbox-get 'permanentflags mailbox))
1554         (member flag (imap-mailbox-get 'permanentflags mailbox)))))
1555
1556 (defun imap-message-flags-set (articles flags &optional silent buffer)
1557   (when (and articles flags)
1558     (with-current-buffer (or buffer (current-buffer))
1559       (imap-ok-p (imap-send-command-wait
1560                   (concat "UID STORE " articles
1561                           " FLAGS" (if silent ".SILENT") " (" flags ")"))))))
1562
1563 (defun imap-message-flags-del (articles flags &optional silent buffer)
1564   (when (and articles flags)
1565     (with-current-buffer (or buffer (current-buffer))
1566       (imap-ok-p (imap-send-command-wait
1567                   (concat "UID STORE " articles
1568                           " -FLAGS" (if silent ".SILENT") " (" flags ")"))))))
1569
1570 (defun imap-message-flags-add (articles flags &optional silent buffer)
1571   (when (and articles flags)
1572     (with-current-buffer (or buffer (current-buffer))
1573       (imap-ok-p (imap-send-command-wait
1574                   (concat "UID STORE " articles
1575                           " +FLAGS" (if silent ".SILENT") " (" flags ")"))))))
1576
1577 (defun imap-message-copyuid-1 (mailbox)
1578   (if (imap-capability 'UIDPLUS)
1579       (list (nth 0 (imap-mailbox-get-1 'copyuid mailbox))
1580             (string-to-number (nth 2 (imap-mailbox-get-1 'copyuid mailbox))))
1581     (let ((old-mailbox imap-current-mailbox)
1582           (state imap-state)
1583           (imap-message-data (make-vector 2 0)))
1584       (when (imap-mailbox-examine-1 mailbox)
1585         (prog1
1586             (and (imap-fetch "*" "UID")
1587                  (list (imap-mailbox-get-1 'uidvalidity mailbox)
1588                        (apply 'max (imap-message-map
1589                                     (lambda (uid prop) uid) 'UID))))
1590           (if old-mailbox
1591               (imap-mailbox-select old-mailbox (eq state 'examine))
1592             (imap-mailbox-unselect)))))))
1593
1594 (defun imap-message-copyuid (mailbox &optional buffer)
1595   (with-current-buffer (or buffer (current-buffer))
1596     (imap-message-copyuid-1 (imap-utf7-decode mailbox))))
1597
1598 (defun imap-message-copy (articles mailbox
1599                                    &optional dont-create no-copyuid buffer)
1600   "Copy ARTICLES (a string message set) to MAILBOX on server in
1601 BUFFER, creating mailbox if it doesn't exist.  If dont-create is
1602 non-nil, it will not create a mailbox.  On success, return a list with
1603 the UIDVALIDITY of the mailbox the article(s) was copied to as the
1604 first element, rest of list contain the saved articles' UIDs."
1605   (when articles
1606     (with-current-buffer (or buffer (current-buffer))
1607       (let ((mailbox (imap-utf7-encode mailbox)))
1608         (if (let ((cmd (concat "UID COPY " articles " \"" mailbox "\""))
1609                   (imap-current-target-mailbox mailbox))
1610               (if (imap-ok-p (imap-send-command-wait cmd))
1611                   t
1612                 (when (and (not dont-create)
1613                            ;; removed because of buggy Oracle server
1614                            ;; that doesn't send TRYCREATE tags (which
1615                            ;; is a MUST according to specifications):
1616                            ;;(imap-mailbox-get-1 'trycreate mailbox)
1617                            (imap-mailbox-create-1 mailbox))
1618                   (imap-ok-p (imap-send-command-wait cmd)))))
1619             (or no-copyuid
1620                 (imap-message-copyuid-1 mailbox)))))))
1621
1622 (defun imap-message-appenduid-1 (mailbox)
1623   (if (imap-capability 'UIDPLUS)
1624       (imap-mailbox-get-1 'appenduid mailbox)
1625     (let ((old-mailbox imap-current-mailbox)
1626           (state imap-state)
1627           (imap-message-data (make-vector 2 0)))
1628       (when (imap-mailbox-examine-1 mailbox)
1629         (prog1
1630             (and (imap-fetch "*" "UID")
1631                  (list (imap-mailbox-get-1 'uidvalidity mailbox)
1632                        (apply 'max (imap-message-map
1633                                     (lambda (uid prop) uid) 'UID))))
1634           (if old-mailbox
1635               (imap-mailbox-select old-mailbox (eq state 'examine))
1636             (imap-mailbox-unselect)))))))
1637
1638 (defun imap-message-appenduid (mailbox &optional buffer)
1639   (with-current-buffer (or buffer (current-buffer))
1640     (imap-message-appenduid-1 (imap-utf7-encode mailbox))))
1641
1642 (defun imap-message-append (mailbox article &optional flags date-time buffer)
1643   "Append ARTICLE (a buffer) to MAILBOX on server in BUFFER.
1644 FLAGS and DATE-TIME is currently not used.  Return a cons holding
1645 uidvalidity of MAILBOX and UID the newly created article got, or nil
1646 on failure."
1647   (let ((mailbox (imap-utf7-encode mailbox)))
1648     (with-current-buffer (or buffer (current-buffer))
1649       (and (let ((imap-current-target-mailbox mailbox))
1650              (imap-ok-p
1651               (imap-send-command-wait
1652                (list "APPEND \"" mailbox "\" "  article))))
1653            (imap-message-appenduid-1 mailbox)))))
1654
1655 (defun imap-body-lines (body)
1656   "Return number of lines in article by looking at the mime bodystructure BODY."
1657   (if (listp body)
1658       (if (stringp (car body))
1659           (cond ((and (string= (upcase (car body)) "TEXT")
1660                       (numberp (nth 7 body)))
1661                  (nth 7 body))
1662                 ((and (string= (upcase (car body)) "MESSAGE")
1663                       (numberp (nth 9 body)))
1664                  (nth 9 body))
1665                 (t 0))
1666         (apply '+ (mapcar 'imap-body-lines body)))
1667     0))
1668
1669 (defun imap-envelope-from (from)
1670   "Return a from string line."
1671   (and from
1672        (concat (aref from 0)
1673                (if (aref from 0) " <")
1674                (aref from 2)
1675                "@"
1676                (aref from 3)
1677                (if (aref from 0) ">"))))
1678
1679 \f
1680 ;; Internal functions.
1681
1682 (defun imap-add-callback (tag func)
1683   (setq imap-callbacks (append (list (cons tag func)) imap-callbacks)))
1684
1685 (defun imap-send-command-1 (cmdstr)
1686   (setq cmdstr (concat cmdstr imap-client-eol))
1687   (and imap-log
1688        (with-current-buffer (get-buffer-create imap-log-buffer)
1689          (imap-disable-multibyte)
1690          (buffer-disable-undo)
1691          (goto-char (point-max))
1692          (insert cmdstr)))
1693   (process-send-string imap-process cmdstr))
1694
1695 (defun imap-send-command (command &optional buffer)
1696   (with-current-buffer (or buffer (current-buffer))
1697     (if (not (listp command)) (setq command (list command)))
1698     (let ((tag (setq imap-tag (1+ imap-tag)))
1699           cmd cmdstr)
1700       (setq cmdstr (concat (number-to-string imap-tag) " "))
1701       (while (setq cmd (pop command))
1702         (cond ((stringp cmd)
1703                (setq cmdstr (concat cmdstr cmd)))
1704               ((bufferp cmd)
1705                (let ((eol imap-client-eol)
1706                      (calcfirst imap-calculate-literal-size-first)
1707                      size)
1708                  (with-current-buffer cmd
1709                    (if calcfirst
1710                        (setq size (buffer-size)))
1711                    (when (not (equal eol "\r\n"))
1712                      ;; XXX modifies buffer!
1713                      (goto-char (point-min))
1714                      (while (search-forward "\r\n" nil t)
1715                        (replace-match eol)))
1716                    (if (not calcfirst)
1717                        (setq size (buffer-size))))
1718                  (setq cmdstr
1719                        (concat cmdstr (format "{%d}" size))))
1720                (unwind-protect
1721                    (progn
1722                      (imap-send-command-1 cmdstr)
1723                      (setq cmdstr nil)
1724                      (if (not (eq (imap-wait-for-tag tag) 'INCOMPLETE))
1725                          (setq command nil) ;; abort command if no cont-req
1726                        (let ((process imap-process)
1727                              (stream imap-stream)
1728                              (eol imap-client-eol))
1729                          (with-current-buffer cmd
1730                            (and imap-log
1731                                 (with-current-buffer (get-buffer-create
1732                                                       imap-log-buffer)
1733                                   (imap-disable-multibyte)
1734                                   (buffer-disable-undo)
1735                                   (goto-char (point-max))
1736                                   (insert-buffer-substring cmd)))
1737                            (process-send-region process (point-min)
1738                                                 (point-max)))
1739                          (process-send-string process imap-client-eol))))
1740                  (setq imap-continuation nil)))
1741               ((functionp cmd)
1742                (imap-send-command-1 cmdstr)
1743                (setq cmdstr nil)
1744                (unwind-protect
1745                    (if (not (eq (imap-wait-for-tag tag) 'INCOMPLETE))
1746                        (setq command nil) ;; abort command if no cont-req
1747                      (setq command (cons (funcall cmd imap-continuation)
1748                                          command)))
1749                  (setq imap-continuation nil)))
1750               (t
1751                (error "Unknown command type"))))
1752       (if cmdstr
1753           (imap-send-command-1 cmdstr))
1754       tag)))
1755
1756 (defun imap-wait-for-tag (tag &optional buffer)
1757   (with-current-buffer (or buffer (current-buffer))
1758     (let (imap-have-messaged)
1759       (while (and (null imap-continuation)
1760                   (memq (process-status imap-process) '(open run))
1761                   (< imap-reached-tag tag))
1762         (let ((len (/ (point-max) 1024))
1763               message-log-max)
1764           (unless (< len 10)
1765             (setq imap-have-messaged t)
1766             (message "imap read: %dk" len))
1767           (accept-process-output imap-process
1768                                  (truncate imap-read-timeout)
1769                                  (truncate (* (- imap-read-timeout
1770                                                  (truncate imap-read-timeout))
1771                                               1000)))))
1772       ;; A process can die _before_ we have processed everything it
1773       ;; has to say.  Moreover, this can happen in between the call to
1774       ;; accept-process-output and the call to process-status in an
1775       ;; iteration of the loop above.
1776       (when (and (null imap-continuation)
1777                  (< imap-reached-tag tag))
1778         (accept-process-output imap-process 0 0))
1779       (when imap-have-messaged
1780         (message ""))
1781       (and (memq (process-status imap-process) '(open run))
1782            (or (assq tag imap-failed-tags)
1783                (if imap-continuation
1784                    'INCOMPLETE
1785                  'OK))))))
1786
1787 (defun imap-sentinel (process string)
1788   (delete-process process))
1789
1790 (defun imap-find-next-line ()
1791   "Return point at end of current line, taking into account literals.
1792 Return nil if no complete line has arrived."
1793   (when (re-search-forward (concat imap-server-eol "\\|{\\([0-9]+\\)}"
1794                                    imap-server-eol)
1795                            nil t)
1796     (if (match-string 1)
1797         (if (< (point-max) (+ (point) (string-to-number (match-string 1))))
1798             nil
1799           (goto-char (+ (point) (string-to-number (match-string 1))))
1800           (imap-find-next-line))
1801       (point))))
1802
1803 (defun imap-arrival-filter (proc string)
1804   "IMAP process filter."
1805   ;; Sometimes, we are called even though the process has died.
1806   ;; Better abstain from doing stuff in that case.
1807   (when (buffer-name (process-buffer proc))
1808     (with-current-buffer (process-buffer proc)
1809       (goto-char (point-max))
1810       (insert string)
1811       (and imap-log
1812            (with-current-buffer (get-buffer-create imap-log-buffer)
1813              (imap-disable-multibyte)
1814              (buffer-disable-undo)
1815              (goto-char (point-max))
1816              (insert string)))
1817       (let (end)
1818         (goto-char (point-min))
1819         (while (setq end (imap-find-next-line))
1820           (save-restriction
1821             (narrow-to-region (point-min) end)
1822             (delete-backward-char (length imap-server-eol))
1823             (goto-char (point-min))
1824             (unwind-protect
1825                 (cond ((eq imap-state 'initial)
1826                        (imap-parse-greeting))
1827                       ((or (eq imap-state 'auth)
1828                            (eq imap-state 'nonauth)
1829                            (eq imap-state 'selected)
1830                            (eq imap-state 'examine))
1831                        (imap-parse-response))
1832                       (t
1833                        (message "Unknown state %s in arrival filter"
1834                                 imap-state)))
1835               (delete-region (point-min) (point-max)))))))))
1836
1837 \f
1838 ;; Imap parser.
1839
1840 (defsubst imap-forward ()
1841   (or (eobp) (forward-char)))
1842
1843 ;;   number          = 1*DIGIT
1844 ;;                       ; Unsigned 32-bit integer
1845 ;;                       ; (0 <= n < 4,294,967,296)
1846
1847 (defsubst imap-parse-number ()
1848   (when (looking-at "[0-9]+")
1849     (prog1
1850         (string-to-number (match-string 0))
1851       (goto-char (match-end 0)))))
1852
1853 ;;   literal         = "{" number "}" CRLF *CHAR8
1854 ;;                       ; Number represents the number of CHAR8s
1855
1856 (defsubst imap-parse-literal ()
1857   (when (looking-at "{\\([0-9]+\\)}\r\n")
1858     (let ((pos (match-end 0))
1859           (len (string-to-number (match-string 1))))
1860       (if (< (point-max) (+ pos len))
1861           nil
1862         (goto-char (+ pos len))
1863         (buffer-substring pos (+ pos len))))))
1864
1865 ;;   string          = quoted / literal
1866 ;;
1867 ;;   quoted          = DQUOTE *QUOTED-CHAR DQUOTE
1868 ;;
1869 ;;   QUOTED-CHAR     = <any TEXT-CHAR except quoted-specials> /
1870 ;;                     "\" quoted-specials
1871 ;;
1872 ;;   quoted-specials = DQUOTE / "\"
1873 ;;
1874 ;;   TEXT-CHAR       = <any CHAR except CR and LF>
1875
1876 (defsubst imap-parse-string ()
1877   (cond ((eq (char-after) ?\")
1878          (forward-char 1)
1879          (let ((p (point)) (name ""))
1880            (skip-chars-forward "^\"\\\\")
1881            (setq name (buffer-substring p (point)))
1882            (while (eq (char-after) ?\\)
1883              (setq p (1+ (point)))
1884              (forward-char 2)
1885              (skip-chars-forward "^\"\\\\")
1886              (setq name (concat name (buffer-substring p (point)))))
1887            (forward-char 1)
1888            name))
1889         ((eq (char-after) ?{)
1890          (imap-parse-literal))))
1891
1892 ;;   nil             = "NIL"
1893
1894 (defsubst imap-parse-nil ()
1895   (if (looking-at "NIL")
1896       (goto-char (match-end 0))))
1897
1898 ;;   nstring         = string / nil
1899
1900 (defsubst imap-parse-nstring ()
1901   (or (imap-parse-string)
1902       (and (imap-parse-nil)
1903            nil)))
1904
1905 ;;   astring         = atom / string
1906 ;;
1907 ;;   atom            = 1*ATOM-CHAR
1908 ;;
1909 ;;   ATOM-CHAR       = <any CHAR except atom-specials>
1910 ;;
1911 ;;   atom-specials   = "(" / ")" / "{" / SP / CTL / list-wildcards /
1912 ;;                     quoted-specials
1913 ;;
1914 ;;   list-wildcards  = "%" / "*"
1915 ;;
1916 ;;   quoted-specials = DQUOTE / "\"
1917
1918 (defsubst imap-parse-astring ()
1919   (or (imap-parse-string)
1920       (buffer-substring (point)
1921                         (if (re-search-forward "[(){ \r\n%*\"\\]" nil t)
1922                             (goto-char (1- (match-end 0)))
1923                           (end-of-line)
1924                           (point)))))
1925
1926 ;;   address         = "(" addr-name SP addr-adl SP addr-mailbox SP
1927 ;;                      addr-host ")"
1928 ;;
1929 ;;   addr-adl        = nstring
1930 ;;                       ; Holds route from [RFC-822] route-addr if
1931 ;;                       ; non-nil
1932 ;;
1933 ;;   addr-host       = nstring
1934 ;;                       ; nil indicates [RFC-822] group syntax.
1935 ;;                       ; Otherwise, holds [RFC-822] domain name
1936 ;;
1937 ;;   addr-mailbox    = nstring
1938 ;;                       ; nil indicates end of [RFC-822] group; if
1939 ;;                       ; non-nil and addr-host is nil, holds
1940 ;;                       ; [RFC-822] group name.
1941 ;;                       ; Otherwise, holds [RFC-822] local-part
1942 ;;                       ; after removing [RFC-822] quoting
1943 ;;
1944 ;;   addr-name       = nstring
1945 ;;                       ; If non-nil, holds phrase from [RFC-822]
1946 ;;                       ; mailbox after removing [RFC-822] quoting
1947 ;;
1948
1949 (defsubst imap-parse-address ()
1950   (let (address)
1951     (when (eq (char-after) ?\()
1952       (imap-forward)
1953       (setq address (vector (prog1 (imap-parse-nstring)
1954                               (imap-forward))
1955                             (prog1 (imap-parse-nstring)
1956                               (imap-forward))
1957                             (prog1 (imap-parse-nstring)
1958                               (imap-forward))
1959                             (imap-parse-nstring)))
1960       (when (eq (char-after) ?\))
1961         (imap-forward)
1962         address))))
1963
1964 ;;   address-list    = "(" 1*address ")" / nil
1965 ;;
1966 ;;   nil             = "NIL"
1967
1968 (defsubst imap-parse-address-list ()
1969   (if (eq (char-after) ?\()
1970       (let (address addresses)
1971         (imap-forward)
1972         (while (and (not (eq (char-after) ?\)))
1973                     ;; next line for MS Exchange bug
1974                     (progn (and (eq (char-after) ? ) (imap-forward)) t)
1975                     (setq address (imap-parse-address)))
1976           (setq addresses (cons address addresses)))
1977         (when (eq (char-after) ?\))
1978           (imap-forward)
1979           (nreverse addresses)))
1980     (assert (imap-parse-nil) t "In imap-parse-address-list")))
1981
1982 ;;   mailbox         = "INBOX" / astring
1983 ;;                       ; INBOX is case-insensitive.  All case variants of
1984 ;;                       ; INBOX (e.g. "iNbOx") MUST be interpreted as INBOX
1985 ;;                       ; not as an astring.  An astring which consists of
1986 ;;                       ; the case-insensitive sequence "I" "N" "B" "O" "X"
1987 ;;                       ; is considered to be INBOX and not an astring.
1988 ;;                       ;  Refer to section 5.1 for further
1989 ;;                       ; semantic details of mailbox names.
1990
1991 (defsubst imap-parse-mailbox ()
1992   (let ((mailbox (imap-parse-astring)))
1993     (if (string-equal "INBOX" (upcase mailbox))
1994         "INBOX"
1995       mailbox)))
1996
1997 ;;   greeting        = "*" SP (resp-cond-auth / resp-cond-bye) CRLF
1998 ;;
1999 ;;   resp-cond-auth  = ("OK" / "PREAUTH") SP resp-text
2000 ;;                       ; Authentication condition
2001 ;;
2002 ;;   resp-cond-bye   = "BYE" SP resp-text
2003
2004 (defun imap-parse-greeting ()
2005   "Parse a IMAP greeting."
2006   (cond ((looking-at "\\* OK ")
2007          (setq imap-state 'nonauth))
2008         ((looking-at "\\* PREAUTH ")
2009          (setq imap-state 'auth))
2010         ((looking-at "\\* BYE ")
2011          (setq imap-state 'closed))))
2012
2013 ;;   response        = *(continue-req / response-data) response-done
2014 ;;
2015 ;;   continue-req    = "+" SP (resp-text / base64) CRLF
2016 ;;
2017 ;;   response-data   = "*" SP (resp-cond-state / resp-cond-bye /
2018 ;;                     mailbox-data / message-data / capability-data) CRLF
2019 ;;
2020 ;;   response-done   = response-tagged / response-fatal
2021 ;;
2022 ;;   response-fatal  = "*" SP resp-cond-bye CRLF
2023 ;;                       ; Server closes connection immediately
2024 ;;
2025 ;;   response-tagged = tag SP resp-cond-state CRLF
2026 ;;
2027 ;;   resp-cond-state = ("OK" / "NO" / "BAD") SP resp-text
2028 ;;                       ; Status condition
2029 ;;
2030 ;;   resp-cond-bye   = "BYE" SP resp-text
2031 ;;
2032 ;;   mailbox-data    =  "FLAGS" SP flag-list /
2033 ;;                      "LIST" SP mailbox-list /
2034 ;;                      "LSUB" SP mailbox-list /
2035 ;;                      "SEARCH" *(SP nz-number) /
2036 ;;                      "STATUS" SP mailbox SP "("
2037 ;;                            [status-att SP number *(SP status-att SP number)] ")" /
2038 ;;                      number SP "EXISTS" /
2039 ;;                      number SP "RECENT"
2040 ;;
2041 ;;   message-data    = nz-number SP ("EXPUNGE" / ("FETCH" SP msg-att))
2042 ;;
2043 ;;   capability-data = "CAPABILITY" *(SP capability) SP "IMAP4rev1"
2044 ;;                     *(SP capability)
2045 ;;                       ; IMAP4rev1 servers which offer RFC 1730
2046 ;;                       ; compatibility MUST list "IMAP4" as the first
2047 ;;                       ; capability.
2048
2049 (defun imap-parse-response ()
2050   "Parse a IMAP command response."
2051   (let (token)
2052     (case (setq token (read (current-buffer)))
2053       (+ (setq imap-continuation
2054                (or (buffer-substring (min (point-max) (1+ (point)))
2055                                      (point-max))
2056                    t)))
2057       (* (case (prog1 (setq token (read (current-buffer)))
2058                  (imap-forward))
2059            (OK         (imap-parse-resp-text))
2060            (NO         (imap-parse-resp-text))
2061            (BAD        (imap-parse-resp-text))
2062            (BYE        (imap-parse-resp-text))
2063            (FLAGS      (imap-mailbox-put 'flags (imap-parse-flag-list)))
2064            (LIST       (imap-parse-data-list 'list))
2065            (LSUB       (imap-parse-data-list 'lsub))
2066            (SEARCH     (imap-mailbox-put
2067                         'search
2068                         (read (concat "(" (buffer-substring (point) (point-max)) ")"))))
2069            (STATUS     (imap-parse-status))
2070            (CAPABILITY (setq imap-capability
2071                                (read (concat "(" (upcase (buffer-substring
2072                                                           (point) (point-max)))
2073                                              ")"))))
2074            (ACL        (imap-parse-acl))
2075            (t       (case (prog1 (read (current-buffer))
2076                             (imap-forward))
2077                       (EXISTS  (imap-mailbox-put 'exists token))
2078                       (RECENT  (imap-mailbox-put 'recent token))
2079                       (EXPUNGE t)
2080                       (FETCH   (imap-parse-fetch token))
2081                       (t       (message "Garbage: %s" (buffer-string)))))))
2082       (t (let (status)
2083            (if (not (integerp token))
2084                (message "Garbage: %s" (buffer-string))
2085              (case (prog1 (setq status (read (current-buffer)))
2086                      (imap-forward))
2087                (OK  (progn
2088                       (setq imap-reached-tag (max imap-reached-tag token))
2089                       (imap-parse-resp-text)))
2090                (NO  (progn
2091                       (setq imap-reached-tag (max imap-reached-tag token))
2092                       (save-excursion
2093                         (imap-parse-resp-text))
2094                       (let (code text)
2095                         (when (eq (char-after) ?\[)
2096                           (setq code (buffer-substring (point)
2097                                                        (search-forward "]")))
2098                           (imap-forward))
2099                         (setq text (buffer-substring (point) (point-max)))
2100                         (push (list token status code text)
2101                               imap-failed-tags))))
2102                (BAD (progn
2103                       (setq imap-reached-tag (max imap-reached-tag token))
2104                       (save-excursion
2105                         (imap-parse-resp-text))
2106                       (let (code text)
2107                         (when (eq (char-after) ?\[)
2108                           (setq code (buffer-substring (point)
2109                                                        (search-forward "]")))
2110                           (imap-forward))
2111                         (setq text (buffer-substring (point) (point-max)))
2112                         (push (list token status code text) imap-failed-tags)
2113                         (error "Internal error, tag %s status %s code %s text %s"
2114                                token status code text))))
2115                (t   (message "Garbage: %s" (buffer-string))))
2116              (when (assq token imap-callbacks)
2117                (funcall (cdr (assq token imap-callbacks)) token status)
2118                (setq imap-callbacks
2119                      (imap-remassoc token imap-callbacks)))))))))
2120
2121 ;;   resp-text       = ["[" resp-text-code "]" SP] text
2122 ;;
2123 ;;   text            = 1*TEXT-CHAR
2124 ;;
2125 ;;   TEXT-CHAR       = <any CHAR except CR and LF>
2126
2127 (defun imap-parse-resp-text ()
2128   (imap-parse-resp-text-code))
2129
2130 ;;   resp-text-code  = "ALERT" /
2131 ;;                     "BADCHARSET [SP "(" astring *(SP astring) ")" ] /
2132 ;;                     "NEWNAME" SP string SP string /
2133 ;;                     "PARSE" /
2134 ;;                     "PERMANENTFLAGS" SP "("
2135 ;;                               [flag-perm *(SP flag-perm)] ")" /
2136 ;;                     "READ-ONLY" /
2137 ;;                     "READ-WRITE" /
2138 ;;                     "TRYCREATE" /
2139 ;;                     "UIDNEXT" SP nz-number /
2140 ;;                     "UIDVALIDITY" SP nz-number /
2141 ;;                     "UNSEEN" SP nz-number /
2142 ;;                     resp-text-atom [SP 1*<any TEXT-CHAR except "]">]
2143 ;;
2144 ;;   resp_code_apnd  = "APPENDUID" SPACE nz_number SPACE uniqueid
2145 ;;
2146 ;;   resp_code_copy  = "COPYUID" SPACE nz_number SPACE set SPACE set
2147 ;;
2148 ;;   set             = sequence-num / (sequence-num ":" sequence-num) /
2149 ;;                        (set "," set)
2150 ;;                          ; Identifies a set of messages.  For message
2151 ;;                          ; sequence numbers, these are consecutive
2152 ;;                          ; numbers from 1 to the number of messages in
2153 ;;                          ; the mailbox
2154 ;;                          ; Comma delimits individual numbers, colon
2155 ;;                          ; delimits between two numbers inclusive.
2156 ;;                          ; Example: 2,4:7,9,12:* is 2,4,5,6,7,9,12,13,
2157 ;;                          ; 14,15 for a mailbox with 15 messages.
2158 ;;
2159 ;;   sequence-num    = nz-number / "*"
2160 ;;                          ; * is the largest number in use.  For message
2161 ;;                          ; sequence numbers, it is the number of messages
2162 ;;                          ; in the mailbox.  For unique identifiers, it is
2163 ;;                          ; the unique identifier of the last message in
2164 ;;                          ; the mailbox.
2165 ;;
2166 ;;   flag-perm       = flag / "\*"
2167 ;;
2168 ;;   flag            = "\Answered" / "\Flagged" / "\Deleted" /
2169 ;;                     "\Seen" / "\Draft" / flag-keyword / flag-extension
2170 ;;                       ; Does not include "\Recent"
2171 ;;
2172 ;;   flag-extension  = "\" atom
2173 ;;                       ; Future expansion.  Client implementations
2174 ;;                       ; MUST accept flag-extension flags.  Server
2175 ;;                       ; implementations MUST NOT generate
2176 ;;                       ; flag-extension flags except as defined by
2177 ;;                       ; future standard or standards-track
2178 ;;                       ; revisions of this specification.
2179 ;;
2180 ;;   flag-keyword    = atom
2181 ;;
2182 ;;   resp-text-atom  = 1*<any ATOM-CHAR except "]">
2183
2184 (defun imap-parse-resp-text-code ()
2185   ;; xxx next line for stalker communigate pro 3.3.1 bug
2186   (when (looking-at " \\[")
2187     (imap-forward))
2188   (when (eq (char-after) ?\[)
2189     (imap-forward)
2190     (cond ((search-forward "PERMANENTFLAGS " nil t)
2191            (imap-mailbox-put 'permanentflags (imap-parse-flag-list)))
2192           ((search-forward "UIDNEXT \\([0-9]+\\)" nil t)
2193            (imap-mailbox-put 'uidnext (match-string 1)))
2194           ((search-forward "UNSEEN " nil t)
2195            (imap-mailbox-put 'first-unseen (read (current-buffer))))
2196           ((looking-at "UIDVALIDITY \\([0-9]+\\)")
2197            (imap-mailbox-put 'uidvalidity (match-string 1)))
2198           ((search-forward "READ-ONLY" nil t)
2199            (imap-mailbox-put 'read-only t))
2200           ((search-forward "NEWNAME " nil t)
2201            (let (oldname newname)
2202              (setq oldname (imap-parse-string))
2203              (imap-forward)
2204              (setq newname (imap-parse-string))
2205              (imap-mailbox-put 'newname newname oldname)))
2206           ((search-forward "TRYCREATE" nil t)
2207            (imap-mailbox-put 'trycreate t imap-current-target-mailbox))
2208           ((looking-at "APPENDUID \\([0-9]+\\) \\([0-9]+\\)")
2209            (imap-mailbox-put 'appenduid
2210                              (list (match-string 1)
2211                                    (string-to-number (match-string 2)))
2212                              imap-current-target-mailbox))
2213           ((looking-at "COPYUID \\([0-9]+\\) \\([0-9,:]+\\) \\([0-9,:]+\\)")
2214            (imap-mailbox-put 'copyuid (list (match-string 1)
2215                                             (match-string 2)
2216                                             (match-string 3))
2217                              imap-current-target-mailbox))
2218           ((search-forward "ALERT] " nil t)
2219            (message "Imap server %s information: %s" imap-server
2220                     (buffer-substring (point) (point-max)))))))
2221
2222 ;;   mailbox-list    = "(" [mbx-list-flags] ")" SP
2223 ;;                      (DQUOTE QUOTED-CHAR DQUOTE / nil) SP mailbox
2224 ;;
2225 ;;   mbx-list-flags  = *(mbx-list-oflag SP) mbx-list-sflag
2226 ;;                     *(SP mbx-list-oflag) /
2227 ;;                     mbx-list-oflag *(SP mbx-list-oflag)
2228 ;;
2229 ;;   mbx-list-oflag  = "\Noinferiors" / flag-extension
2230 ;;                       ; Other flags; multiple possible per LIST response
2231 ;;
2232 ;;   mbx-list-sflag  = "\Noselect" / "\Marked" / "\Unmarked"
2233 ;;                       ; Selectability flags; only one per LIST response
2234 ;;
2235 ;;   QUOTED-CHAR     = <any TEXT-CHAR except quoted-specials> /
2236 ;;                     "\" quoted-specials
2237 ;;
2238 ;;   quoted-specials = DQUOTE / "\"
2239
2240 (defun imap-parse-data-list (type)
2241   (let (flags delimiter mailbox)
2242     (setq flags (imap-parse-flag-list))
2243     (when (looking-at " NIL\\| \"\\\\?\\(.\\)\"")
2244       (setq delimiter (match-string 1))
2245       (goto-char (1+ (match-end 0)))
2246       (when (setq mailbox (imap-parse-mailbox))
2247         (imap-mailbox-put type t mailbox)
2248         (imap-mailbox-put 'list-flags flags mailbox)
2249         (imap-mailbox-put 'delimiter delimiter mailbox)))))
2250
2251 ;;  msg_att         ::= "(" 1#("ENVELOPE" SPACE envelope /
2252 ;;                      "FLAGS" SPACE "(" #(flag / "\Recent") ")" /
2253 ;;                      "INTERNALDATE" SPACE date_time /
2254 ;;                      "RFC822" [".HEADER" / ".TEXT"] SPACE nstring /
2255 ;;                      "RFC822.SIZE" SPACE number /
2256 ;;                      "BODY" ["STRUCTURE"] SPACE body /
2257 ;;                      "BODY" section ["<" number ">"] SPACE nstring /
2258 ;;                      "UID" SPACE uniqueid) ")"
2259 ;;
2260 ;;  date_time       ::= <"> date_day_fixed "-" date_month "-" date_year
2261 ;;                      SPACE time SPACE zone <">
2262 ;;
2263 ;;  section         ::= "[" [section_text / (nz_number *["." nz_number]
2264 ;;                      ["." (section_text / "MIME")])] "]"
2265 ;;
2266 ;;  section_text    ::= "HEADER" / "HEADER.FIELDS" [".NOT"]
2267 ;;                      SPACE header_list / "TEXT"
2268 ;;
2269 ;;  header_fld_name ::= astring
2270 ;;
2271 ;;  header_list     ::= "(" 1#header_fld_name ")"
2272
2273 (defsubst imap-parse-header-list ()
2274   (when (eq (char-after) ?\()
2275     (let (strlist)
2276       (while (not (eq (char-after) ?\)))
2277         (imap-forward)
2278         (push (imap-parse-astring) strlist))
2279       (imap-forward)
2280       (nreverse strlist))))
2281
2282 (defsubst imap-parse-fetch-body-section ()
2283   (let ((section
2284          (buffer-substring (point) (1- (re-search-forward "[] ]" nil t)))))
2285     (if (eq (char-before) ? )
2286         (prog1
2287             (mapconcat 'identity (cons section (imap-parse-header-list)) " ")
2288           (search-forward "]" nil t))
2289       section)))
2290
2291 (defun imap-parse-fetch (response)
2292   (when (eq (char-after) ?\()
2293     (let (uid flags envelope internaldate rfc822 rfc822header rfc822text
2294               rfc822size body bodydetail bodystructure flags-empty)
2295       (while (not (eq (char-after) ?\)))
2296         (imap-forward)
2297         (let ((token (read (current-buffer))))
2298           (imap-forward)
2299           (cond ((eq token 'UID)
2300                  (setq uid (condition-case ()
2301                                (read (current-buffer))
2302                              (error))))
2303                 ((eq token 'FLAGS)
2304                  (setq flags (imap-parse-flag-list))
2305                  (if (not flags)
2306                      (setq flags-empty 't)))
2307                 ((eq token 'ENVELOPE)
2308                  (setq envelope (imap-parse-envelope)))
2309                 ((eq token 'INTERNALDATE)
2310                  (setq internaldate (imap-parse-string)))
2311                 ((eq token 'RFC822)
2312                  (setq rfc822 (imap-parse-nstring)))
2313                 ((eq token 'RFC822.HEADER)
2314                  (setq rfc822header (imap-parse-nstring)))
2315                 ((eq token 'RFC822.TEXT)
2316                  (setq rfc822text (imap-parse-nstring)))
2317                 ((eq token 'RFC822.SIZE)
2318                  (setq rfc822size (read (current-buffer))))
2319                 ((eq token 'BODY)
2320                  (if (eq (char-before) ?\[)
2321                      (push (list
2322                             (upcase (imap-parse-fetch-body-section))
2323                             (and (eq (char-after) ?<)
2324                                  (buffer-substring (1+ (point))
2325                                                    (search-forward ">" nil t)))
2326                             (progn (imap-forward)
2327                                    (imap-parse-nstring)))
2328                            bodydetail)
2329                    (setq body (imap-parse-body))))
2330                 ((eq token 'BODYSTRUCTURE)
2331                  (setq bodystructure (imap-parse-body))))))
2332       (when uid
2333         (setq imap-current-message uid)
2334         (imap-message-put uid 'UID uid)
2335         (and (or flags flags-empty) (imap-message-put uid 'FLAGS flags))
2336         (and envelope (imap-message-put uid 'ENVELOPE envelope))
2337         (and internaldate (imap-message-put uid 'INTERNALDATE internaldate))
2338         (and rfc822 (imap-message-put uid 'RFC822 rfc822))
2339         (and rfc822header (imap-message-put uid 'RFC822.HEADER rfc822header))
2340         (and rfc822text (imap-message-put uid 'RFC822.TEXT rfc822text))
2341         (and rfc822size (imap-message-put uid 'RFC822.SIZE rfc822size))
2342         (and body (imap-message-put uid 'BODY body))
2343         (and bodydetail (imap-message-put uid 'BODYDETAIL bodydetail))
2344         (and bodystructure (imap-message-put uid 'BODYSTRUCTURE bodystructure))
2345         (run-hooks 'imap-fetch-data-hook)))))
2346
2347 ;;   mailbox-data    =  ...
2348 ;;                      "STATUS" SP mailbox SP "("
2349 ;;                            [status-att SP number
2350 ;;                            *(SP status-att SP number)] ")"
2351 ;;                      ...
2352 ;;
2353 ;;   status-att      = "MESSAGES" / "RECENT" / "UIDNEXT" / "UIDVALIDITY" /
2354 ;;                     "UNSEEN"
2355
2356 (defun imap-parse-status ()
2357   (let ((mailbox (imap-parse-mailbox)))
2358     (if (eq (char-after) ? )
2359         (forward-char))
2360     (when (and mailbox (eq (char-after) ?\())
2361       (while (and (not (eq (char-after) ?\)))
2362                   (or (forward-char) t)
2363                   (looking-at "\\([A-Za-z]+\\) "))
2364         (let ((token (match-string 1)))
2365           (goto-char (match-end 0))
2366           (cond ((string= token "MESSAGES")
2367                  (imap-mailbox-put 'messages (read (current-buffer)) mailbox))
2368                 ((string= token "RECENT")
2369                  (imap-mailbox-put 'recent (read (current-buffer)) mailbox))
2370                 ((string= token "UIDNEXT")
2371                  (and (looking-at "[0-9]+")
2372                       (imap-mailbox-put 'uidnext (match-string 0) mailbox)
2373                       (goto-char (match-end 0))))
2374                 ((string= token "UIDVALIDITY")
2375                  (and (looking-at "[0-9]+")
2376                       (imap-mailbox-put 'uidvalidity (match-string 0) mailbox)
2377                       (goto-char (match-end 0))))
2378                 ((string= token "UNSEEN")
2379                  (imap-mailbox-put 'unseen (read (current-buffer)) mailbox))
2380                 (t
2381                  (message "Unknown status data %s in mailbox %s ignored"
2382                           token mailbox)
2383                  (read (current-buffer)))))))))
2384
2385 ;;   acl_data        ::= "ACL" SPACE mailbox *(SPACE identifier SPACE
2386 ;;                        rights)
2387 ;;
2388 ;;   identifier      ::= astring
2389 ;;
2390 ;;   rights          ::= astring
2391
2392 (defun imap-parse-acl ()
2393   (let ((mailbox (imap-parse-mailbox))
2394         identifier rights acl)
2395     (while (eq (char-after) ?\ )
2396       (imap-forward)
2397       (setq identifier (imap-parse-astring))
2398       (imap-forward)
2399       (setq rights (imap-parse-astring))
2400       (setq acl (append acl (list (cons identifier rights)))))
2401     (imap-mailbox-put 'acl acl mailbox)))
2402
2403 ;;   flag-list       = "(" [flag *(SP flag)] ")"
2404 ;;
2405 ;;   flag            = "\Answered" / "\Flagged" / "\Deleted" /
2406 ;;                     "\Seen" / "\Draft" / flag-keyword / flag-extension
2407 ;;                       ; Does not include "\Recent"
2408 ;;
2409 ;;   flag-keyword    = atom
2410 ;;
2411 ;;   flag-extension  = "\" atom
2412 ;;                       ; Future expansion.  Client implementations
2413 ;;                       ; MUST accept flag-extension flags.  Server
2414 ;;                       ; implementations MUST NOT generate
2415 ;;                       ; flag-extension flags except as defined by
2416 ;;                       ; future standard or standards-track
2417 ;;                       ; revisions of this specification.
2418
2419 (defun imap-parse-flag-list ()
2420   (let (flag-list start)
2421     (assert (eq (char-after) ?\() t "In imap-parse-flag-list")
2422     (while (and (not (eq (char-after) ?\)))
2423                 (setq start (progn
2424                               (imap-forward)
2425                               ;; next line for Courier IMAP bug.
2426                               (skip-chars-forward " ")
2427                               (point)))
2428                 (> (skip-chars-forward "^ )" (imap-point-at-eol)) 0))
2429       (push (buffer-substring start (point)) flag-list))
2430     (assert (eq (char-after) ?\)) t "In imap-parse-flag-list")
2431     (imap-forward)
2432     (nreverse flag-list)))
2433
2434 ;;   envelope        = "(" env-date SP env-subject SP env-from SP env-sender SP
2435 ;;                     env-reply-to SP env-to SP env-cc SP env-bcc SP
2436 ;;                     env-in-reply-to SP env-message-id ")"
2437 ;;
2438 ;;   env-bcc         = "(" 1*address ")" / nil
2439 ;;
2440 ;;   env-cc          = "(" 1*address ")" / nil
2441 ;;
2442 ;;   env-date        = nstring
2443 ;;
2444 ;;   env-from        = "(" 1*address ")" / nil
2445 ;;
2446 ;;   env-in-reply-to = nstring
2447 ;;
2448 ;;   env-message-id  = nstring
2449 ;;
2450 ;;   env-reply-to    = "(" 1*address ")" / nil
2451 ;;
2452 ;;   env-sender      = "(" 1*address ")" / nil
2453 ;;
2454 ;;   env-subject     = nstring
2455 ;;
2456 ;;   env-to          = "(" 1*address ")" / nil
2457
2458 (defun imap-parse-envelope ()
2459   (when (eq (char-after) ?\()
2460     (imap-forward)
2461     (vector (prog1 (imap-parse-nstring) ;; date
2462               (imap-forward))
2463             (prog1 (imap-parse-nstring) ;; subject
2464               (imap-forward))
2465             (prog1 (imap-parse-address-list) ;; from
2466               (imap-forward))
2467             (prog1 (imap-parse-address-list) ;; sender
2468               (imap-forward))
2469             (prog1 (imap-parse-address-list) ;; reply-to
2470               (imap-forward))
2471             (prog1 (imap-parse-address-list) ;; to
2472               (imap-forward))
2473             (prog1 (imap-parse-address-list) ;; cc
2474               (imap-forward))
2475             (prog1 (imap-parse-address-list) ;; bcc
2476               (imap-forward))
2477             (prog1 (imap-parse-nstring) ;; in-reply-to
2478               (imap-forward))
2479             (prog1 (imap-parse-nstring) ;; message-id
2480               (imap-forward)))))
2481
2482 ;;   body-fld-param  = "(" string SP string *(SP string SP string) ")" / nil
2483
2484 (defsubst imap-parse-string-list ()
2485   (cond ((eq (char-after) ?\() ;; body-fld-param
2486          (let (strlist str)
2487            (imap-forward)
2488            (while (setq str (imap-parse-string))
2489              (push str strlist)
2490              ;; buggy stalker communigate pro 3.0 doesn't print SPC
2491              ;; between body-fld-param's sometimes
2492              (or (eq (char-after) ?\")
2493                  (imap-forward)))
2494            (nreverse strlist)))
2495         ((imap-parse-nil)
2496          nil)))
2497
2498 ;;   body-extension  = nstring / number /
2499 ;;                      "(" body-extension *(SP body-extension) ")"
2500 ;;                       ; Future expansion.  Client implementations
2501 ;;                       ; MUST accept body-extension fields.  Server
2502 ;;                       ; implementations MUST NOT generate
2503 ;;                       ; body-extension fields except as defined by
2504 ;;                       ; future standard or standards-track
2505 ;;                       ; revisions of this specification.
2506
2507 (defun imap-parse-body-extension ()
2508   (if (eq (char-after) ?\()
2509       (let (b-e)
2510         (imap-forward)
2511         (push (imap-parse-body-extension) b-e)
2512         (while (eq (char-after) ?\ )
2513           (imap-forward)
2514           (push (imap-parse-body-extension) b-e))
2515         (assert (eq (char-after) ?\)) t "In imap-parse-body-extension")
2516         (imap-forward)
2517         (nreverse b-e))
2518     (or (imap-parse-number)
2519         (imap-parse-nstring))))
2520
2521 ;;   body-ext-1part  = body-fld-md5 [SP body-fld-dsp [SP body-fld-lang
2522 ;;                     *(SP body-extension)]]
2523 ;;                       ; MUST NOT be returned on non-extensible
2524 ;;                       ; "BODY" fetch
2525 ;;
2526 ;;   body-ext-mpart  = body-fld-param [SP body-fld-dsp [SP body-fld-lang
2527 ;;                     *(SP body-extension)]]
2528 ;;                       ; MUST NOT be returned on non-extensible
2529 ;;                       ; "BODY" fetch
2530
2531 (defsubst imap-parse-body-ext ()
2532   (let (ext)
2533     (when (eq (char-after) ?\ ) ;; body-fld-dsp
2534       (imap-forward)
2535       (let (dsp)
2536         (if (eq (char-after) ?\()
2537             (progn
2538               (imap-forward)
2539               (push (imap-parse-string) dsp)
2540               (imap-forward)
2541               (push (imap-parse-string-list) dsp)
2542               (imap-forward))
2543           (assert (imap-parse-nil) t "In imap-parse-body-ext"))
2544         (push (nreverse dsp) ext))
2545       (when (eq (char-after) ?\ ) ;; body-fld-lang
2546         (imap-forward)
2547         (if (eq (char-after) ?\()
2548             (push (imap-parse-string-list) ext)
2549           (push (imap-parse-nstring) ext))
2550         (while (eq (char-after) ?\ ) ;; body-extension
2551           (imap-forward)
2552           (setq ext (append (imap-parse-body-extension) ext)))))
2553     ext))
2554
2555 ;;   body            = "(" body-type-1part / body-type-mpart ")"
2556 ;;
2557 ;;   body-ext-1part  = body-fld-md5 [SP body-fld-dsp [SP body-fld-lang
2558 ;;                     *(SP body-extension)]]
2559 ;;                       ; MUST NOT be returned on non-extensible
2560 ;;                       ; "BODY" fetch
2561 ;;
2562 ;;   body-ext-mpart  = body-fld-param [SP body-fld-dsp [SP body-fld-lang
2563 ;;                     *(SP body-extension)]]
2564 ;;                       ; MUST NOT be returned on non-extensible
2565 ;;                       ; "BODY" fetch
2566 ;;
2567 ;;   body-fields     = body-fld-param SP body-fld-id SP body-fld-desc SP
2568 ;;                     body-fld-enc SP body-fld-octets
2569 ;;
2570 ;;   body-fld-desc   = nstring
2571 ;;
2572 ;;   body-fld-dsp    = "(" string SP body-fld-param ")" / nil
2573 ;;
2574 ;;   body-fld-enc    = (DQUOTE ("7BIT" / "8BIT" / "BINARY" / "BASE64"/
2575 ;;                     "QUOTED-PRINTABLE") DQUOTE) / string
2576 ;;
2577 ;;   body-fld-id     = nstring
2578 ;;
2579 ;;   body-fld-lang   = nstring / "(" string *(SP string) ")"
2580 ;;
2581 ;;   body-fld-lines  = number
2582 ;;
2583 ;;   body-fld-md5    = nstring
2584 ;;
2585 ;;   body-fld-octets = number
2586 ;;
2587 ;;   body-fld-param  = "(" string SP string *(SP string SP string) ")" / nil
2588 ;;
2589 ;;   body-type-1part = (body-type-basic / body-type-msg / body-type-text)
2590 ;;                     [SP body-ext-1part]
2591 ;;
2592 ;;   body-type-basic = media-basic SP body-fields
2593 ;;                       ; MESSAGE subtype MUST NOT be "RFC822"
2594 ;;
2595 ;;   body-type-msg   = media-message SP body-fields SP envelope
2596 ;;                     SP body SP body-fld-lines
2597 ;;
2598 ;;   body-type-text  = media-text SP body-fields SP body-fld-lines
2599 ;;
2600 ;;   body-type-mpart = 1*body SP media-subtype
2601 ;;                     [SP body-ext-mpart]
2602 ;;
2603 ;;   media-basic     = ((DQUOTE ("APPLICATION" / "AUDIO" / "IMAGE" /
2604 ;;                     "MESSAGE" / "VIDEO") DQUOTE) / string) SP media-subtype
2605 ;;                       ; Defined in [MIME-IMT]
2606 ;;
2607 ;;   media-message   = DQUOTE "MESSAGE" DQUOTE SP DQUOTE "RFC822" DQUOTE
2608 ;;                      ; Defined in [MIME-IMT]
2609 ;;
2610 ;;   media-subtype   = string
2611 ;;                       ; Defined in [MIME-IMT]
2612 ;;
2613 ;;   media-text      = DQUOTE "TEXT" DQUOTE SP media-subtype
2614 ;;                       ; Defined in [MIME-IMT]
2615
2616 (defun imap-parse-body ()
2617   (let (body)
2618     (when (eq (char-after) ?\()
2619       (imap-forward)
2620       (if (eq (char-after) ?\()
2621           (let (subbody)
2622             (while (and (eq (char-after) ?\()
2623                         (setq subbody (imap-parse-body)))
2624              ;; buggy stalker communigate pro 3.0 insert a SPC between
2625               ;; parts in multiparts
2626               (when (and (eq (char-after) ?\ )
2627                          (eq (char-after (1+ (point))) ?\())
2628                 (imap-forward))
2629               (push subbody body))
2630             (imap-forward)
2631             (push (imap-parse-string) body) ;; media-subtype
2632             (when (eq (char-after) ?\ ) ;; body-ext-mpart:
2633               (imap-forward)
2634               (if (eq (char-after) ?\() ;; body-fld-param
2635                   (push (imap-parse-string-list) body)
2636                 (push (and (imap-parse-nil) nil) body))
2637               (setq body
2638                     (append (imap-parse-body-ext) body))) ;; body-ext-...
2639             (assert (eq (char-after) ?\)) t "In imap-parse-body")
2640             (imap-forward)
2641             (nreverse body))
2642
2643         (push (imap-parse-string) body) ;; media-type
2644         (imap-forward)
2645         (push (imap-parse-string) body) ;; media-subtype
2646         (imap-forward)
2647         ;; next line for Sun SIMS bug
2648         (and (eq (char-after) ? ) (imap-forward))
2649         (if (eq (char-after) ?\() ;; body-fld-param
2650             (push (imap-parse-string-list) body)
2651           (push (and (imap-parse-nil) nil) body))
2652         (imap-forward)
2653         (push (imap-parse-nstring) body) ;; body-fld-id
2654         (imap-forward)
2655         (push (imap-parse-nstring) body) ;; body-fld-desc
2656         (imap-forward)
2657         ;; next `or' for Sun SIMS bug, it regard body-fld-enc as a
2658         ;; nstring and return nil instead of defaulting back to 7BIT
2659         ;; as the standard says.
2660         (push (or (imap-parse-nstring) "7BIT") body) ;; body-fld-enc
2661         (imap-forward)
2662         (push (imap-parse-number) body) ;; body-fld-octets
2663
2664    ;; ok, we're done parsing the required parts, what comes now is one
2665         ;; of three things:
2666         ;;
2667         ;; envelope       (then we're parsing body-type-msg)
2668         ;; body-fld-lines (then we're parsing body-type-text)
2669         ;; body-ext-1part (then we're parsing body-type-basic)
2670         ;;
2671   ;; the problem is that the two first are in turn optionally followed
2672 ;; by the third.  So we parse the first two here (if there are any)...
2673
2674         (when (eq (char-after) ?\ )
2675           (imap-forward)
2676           (let (lines)
2677             (cond ((eq (char-after) ?\() ;; body-type-msg:
2678                    (push (imap-parse-envelope) body) ;; envelope
2679                    (imap-forward)
2680                    (push (imap-parse-body) body) ;; body
2681                    ;; buggy stalker communigate pro 3.0 doesn't print
2682                    ;; number of lines in message/rfc822 attachment
2683                    (if (eq (char-after) ?\))
2684                        (push 0 body)
2685                      (imap-forward)
2686                      (push (imap-parse-number) body))) ;; body-fld-lines
2687                   ((setq lines (imap-parse-number)) ;; body-type-text:
2688                    (push lines body)) ;; body-fld-lines
2689                   (t
2690                    (backward-char))))) ;; no match...
2691
2692         ;; ...and then parse the third one here...
2693
2694         (when (eq (char-after) ?\ ) ;; body-ext-1part:
2695           (imap-forward)
2696           (push (imap-parse-nstring) body) ;; body-fld-md5
2697           (setq body (append (imap-parse-body-ext) body))) ;; body-ext-1part..
2698
2699         (assert (eq (char-after) ?\)) t "In imap-parse-body 2")
2700         (imap-forward)
2701         (nreverse body)))))
2702
2703 (when imap-debug                        ; (untrace-all)
2704   (require 'trace)
2705   (buffer-disable-undo (get-buffer-create imap-debug-buffer))
2706   (mapcar (lambda (f) (trace-function-background f imap-debug-buffer))
2707           '(
2708             imap-utf7-encode
2709             imap-utf7-decode
2710             imap-error-text
2711             imap-kerberos4s-p
2712             imap-kerberos4-open
2713             imap-ssl-p
2714             imap-ssl-open
2715             imap-network-p
2716             imap-network-open
2717             imap-interactive-login
2718             imap-kerberos4a-p
2719             imap-kerberos4-auth
2720             imap-cram-md5-p
2721             imap-cram-md5-auth
2722             imap-login-p
2723             imap-login-auth
2724             imap-anonymous-p
2725             imap-anonymous-auth
2726             imap-open-1
2727             imap-open
2728             imap-opened
2729             imap-authenticate
2730             imap-close
2731             imap-capability
2732             imap-namespace
2733             imap-send-command-wait
2734             imap-mailbox-put
2735             imap-mailbox-get
2736             imap-mailbox-map-1
2737             imap-mailbox-map
2738             imap-current-mailbox
2739             imap-current-mailbox-p-1
2740             imap-current-mailbox-p
2741             imap-mailbox-select-1
2742             imap-mailbox-select
2743             imap-mailbox-examine-1
2744             imap-mailbox-examine
2745             imap-mailbox-unselect
2746             imap-mailbox-expunge
2747             imap-mailbox-close
2748             imap-mailbox-create-1
2749             imap-mailbox-create
2750             imap-mailbox-delete
2751             imap-mailbox-rename
2752             imap-mailbox-lsub
2753             imap-mailbox-list
2754             imap-mailbox-subscribe
2755             imap-mailbox-unsubscribe
2756             imap-mailbox-status
2757             imap-mailbox-acl-get
2758             imap-mailbox-acl-set
2759             imap-mailbox-acl-delete
2760             imap-current-message
2761             imap-list-to-message-set
2762             imap-fetch-asynch
2763             imap-fetch
2764             imap-message-put
2765             imap-message-get
2766             imap-message-map
2767             imap-search
2768             imap-message-flag-permanent-p
2769             imap-message-flags-set
2770             imap-message-flags-del
2771             imap-message-flags-add
2772             imap-message-copyuid-1
2773             imap-message-copyuid
2774             imap-message-copy
2775             imap-message-appenduid-1
2776             imap-message-appenduid
2777             imap-message-append
2778             imap-body-lines
2779             imap-envelope-from
2780             imap-send-command-1
2781             imap-send-command
2782             imap-wait-for-tag
2783             imap-sentinel
2784             imap-find-next-line
2785             imap-arrival-filter
2786             imap-parse-greeting
2787             imap-parse-response
2788             imap-parse-resp-text
2789             imap-parse-resp-text-code
2790             imap-parse-data-list
2791             imap-parse-fetch
2792             imap-parse-status
2793             imap-parse-acl
2794             imap-parse-flag-list
2795             imap-parse-envelope
2796             imap-parse-body-extension
2797             imap-parse-body
2798             )))
2799
2800 (provide 'imap)
2801
2802 ;;; imap.el ends here