* mail-source.el (mail-source-touch-pop): Doc fix.
[gnus] / lisp / mail-source.el
1 ;;; mail-source.el --- functions for fetching mail
2 ;; Copyright (C) 1999, 2000, 2001, 2002, 2003, 2004
3 ;;        Free Software Foundation, Inc.
4
5 ;; Author: Lars Magne Ingebrigtsen <larsi@gnus.org>
6 ;; Keywords: news, mail
7
8 ;; This file is part of GNU Emacs.
9
10 ;; GNU Emacs is free software; you can redistribute it and/or modify
11 ;; it under the terms of the GNU General Public License as published by
12 ;; the Free Software Foundation; either version 2, or (at your option)
13 ;; any later version.
14
15 ;; GNU Emacs is distributed in the hope that it will be useful,
16 ;; but WITHOUT ANY WARRANTY; without even the implied warranty of
17 ;; MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
18 ;; GNU General Public License for more details.
19
20 ;; You should have received a copy of the GNU General Public License
21 ;; along with GNU Emacs; see the file COPYING.  If not, write to the
22 ;; Free Software Foundation, Inc., 59 Temple Place - Suite 330,
23 ;; Boston, MA 02111-1307, USA.
24
25 ;;; Commentary:
26
27 ;;; Code:
28
29 (eval-when-compile
30   (require 'cl)
31   (require 'imap)
32   (eval-when-compile (defvar display-time-mail-function)))
33 (eval-and-compile
34   (autoload 'pop3-movemail "pop3")
35   (autoload 'pop3-get-message-count "pop3")
36   (autoload 'nnheader-cancel-timer "nnheader"))
37 (require 'format-spec)
38 (require 'mm-util)
39 (require 'message) ;; for `message-directory'
40
41 (defgroup mail-source nil
42   "The mail-fetching library."
43   :version "21.1"
44   :group 'gnus)
45
46 ;; Define these at compile time to avoid dragging in imap always.
47 (defconst mail-source-imap-authenticators
48   (eval-when-compile
49     (mapcar (lambda (a)
50               (list 'const (car a)))
51      imap-authenticator-alist)))
52 (defconst mail-source-imap-streams
53   (eval-when-compile
54     (mapcar (lambda (a)
55               (list 'const (car a)))
56      imap-stream-alist)))
57
58 (defcustom mail-sources nil
59   "*Where the mail backends will look for incoming mail.
60 This variable is a list of mail source specifiers.
61 See Info node `(gnus)Mail Source Specifiers'."
62   :group 'mail-source
63   :link '(custom-manual "(gnus)Mail Source Specifiers")
64   :type `(repeat
65           (choice :format "%[Value Menu%] %v"
66                   :value (file)
67                   (cons :tag "Spool file"
68                         (const :format "" file)
69                         (checklist :tag "Options" :greedy t
70                                    (group :inline t
71                                           (const :format "" :value :path)
72                                           file)))
73                   (cons :tag "Several files in a directory"
74                         (const :format "" directory)
75                         (checklist :tag "Options" :greedy t
76                                    (group :inline t
77                                           (const :format "" :value :path)
78                                           (directory :tag "Path"))
79                                    (group :inline t
80                                           (const :format "" :value :suffix)
81                                           (string :tag "Suffix"))
82                                    (group :inline t
83                                           (const :format "" :value :predicate)
84                                           (function :tag "Predicate"))
85                                    (group :inline t
86                                           (const :format "" :value :prescript)
87                                           (choice :tag "Prescript"
88                                                   :value nil
89                                                   (string :format "%v")
90                                                   (function :format "%v")))
91                                    (group :inline t
92                                           (const :format "" :value :postscript)
93                                           (choice :tag "Postscript"
94                                                   :value nil
95                                                   (string :format "%v")
96                                                   (function :format "%v")))
97                                    (group :inline t
98                                           (const :format "" :value :plugged)
99                                           (boolean :tag "Plugged"))))
100                   (cons :tag "POP3 server"
101                         (const :format "" pop)
102                         (checklist :tag "Options" :greedy t
103                                    (group :inline t
104                                           (const :format "" :value :server)
105                                           (string :tag "Server"))
106                                    (group :inline t
107                                           (const :format "" :value :port)
108                                           (choice :tag "Port"
109                                                   :value "pop3"
110                                                   (number :format "%v")
111                                                   (string :format "%v")))
112                                    (group :inline t
113                                           (const :format "" :value :user)
114                                           (string :tag "User"))
115                                    (group :inline t
116                                           (const :format "" :value :password)
117                                           (string :tag "Password"))
118                                    (group :inline t
119                                           (const :format "" :value :program)
120                                           (string :tag "Program"))
121                                    (group :inline t
122                                           (const :format "" :value :prescript)
123                                           (choice :tag "Prescript"
124                                                   :value nil
125                                                   (string :format "%v")
126                                                   (function :format "%v")))
127                                    (group :inline t
128                                           (const :format "" :value :postscript)
129                                           (choice :tag "Postscript"
130                                                   :value nil
131                                                   (string :format "%v")
132                                                   (function :format "%v")))
133                                    (group :inline t
134                                           (const :format "" :value :function)
135                                           (function :tag "Function"))
136                                    (group :inline t
137                                           (const :format ""
138                                                  :value :authentication)
139                                           (choice :tag "Authentication"
140                                                   :value apop
141                                                   (const password)
142                                                   (const apop)))
143                                    (group :inline t
144                                           (const :format "" :value :plugged)
145                                           (boolean :tag "Plugged"))))
146                   (cons :tag "Maildir (qmail, postfix...)"
147                         (const :format "" maildir)
148                         (checklist :tag "Options" :greedy t
149                                    (group :inline t
150                                           (const :format "" :value :path)
151                                           (directory :tag "Path"))
152                                    (group :inline t
153                                           (const :format "" :value :plugged)
154                                           (boolean :tag "Plugged"))))
155                   (cons :tag "IMAP server"
156                         (const :format "" imap)
157                         (checklist :tag "Options" :greedy t
158                                    (group :inline t
159                                           (const :format "" :value :server)
160                                           (string :tag "Server"))
161                                    (group :inline t
162                                           (const :format "" :value :port)
163                                           (choice :tag "Port"
164                                                   :value 143
165                                                   number string))
166                                    (group :inline t
167                                           (const :format "" :value :user)
168                                           (string :tag "User"))
169                                    (group :inline t
170                                           (const :format "" :value :password)
171                                           (string :tag "Password"))
172                                    (group :inline t
173                                           (const :format "" :value :stream)
174                                           (choice :tag "Stream"
175                                                   :value network
176                                                   ,@mail-source-imap-streams))
177                                    (group :inline t
178                                           (const :format "" :value :program)
179                                           (string :tag "Program"))
180                                    (group :inline t
181                                           (const :format ""
182                                                  :value :authenticator)
183                                           (choice :tag "Authenticator"
184                                                   :value login
185                                                   ,@mail-source-imap-authenticators))
186                                    (group :inline t
187                                           (const :format "" :value :mailbox)
188                                           (string :tag "Mailbox"
189                                                   :value "INBOX"))
190                                    (group :inline t
191                                           (const :format "" :value :predicate)
192                                           (string :tag "Predicate"
193                                                   :value "UNSEEN UNDELETED"))
194                                    (group :inline t
195                                           (const :format "" :value :fetchflag)
196                                           (string :tag "Fetchflag"
197                                                   :value  "\\Deleted"))
198                                    (group :inline t
199                                           (const :format ""
200                                                  :value :dontexpunge)
201                                           (boolean :tag "Dontexpunge"))
202                                    (group :inline t
203                                           (const :format "" :value :plugged)
204                                           (boolean :tag "Plugged"))))
205                   (cons :tag "Webmail server"
206                         (const :format "" webmail)
207                         (checklist :tag "Options" :greedy t
208                                    (group :inline t
209                                          (const :format "" :value :subtype)
210                                          ;; Should be generated from
211                                          ;; `webmail-type-definition', but we
212                                          ;; can't require webmail without W3.
213                                          (choice :tag "Subtype"
214                                                  :value hotmail
215                                                  (const hotmail)
216                                                  (const yahoo)
217                                                  (const netaddress)
218                                                  (const netscape)
219                                                  (const my-deja)))
220                                    (group :inline t
221                                           (const :format "" :value :user)
222                                           (string :tag "User"))
223                                    (group :inline t
224                                           (const :format "" :value :password)
225                                           (string :tag "Password"))
226                                    (group :inline t
227                                           (const :format ""
228                                                  :value :dontexpunge)
229                                           (boolean :tag "Dontexpunge"))
230                                    (group :inline t
231                                           (const :format "" :value :plugged)
232                                           (boolean :tag "Plugged")))))))
233
234 (defcustom mail-source-ignore-errors nil
235   "*Ignore errors when querying mail sources.
236 If nil, the user will be prompted when an error occurs.  If non-nil,
237 the error will be ignored.")
238
239 (defcustom mail-source-primary-source nil
240   "*Primary source for incoming mail.
241 If non-nil, this maildrop will be checked periodically for new mail."
242   :group 'mail-source
243   :type 'sexp)
244
245 (defcustom mail-source-flash t
246   "*If non-nil, flash periodically when mail is available."
247   :group 'mail-source
248   :type 'boolean)
249
250 (defcustom mail-source-crash-box "~/.emacs-mail-crash-box"
251   "File where mail will be stored while processing it."
252   :group 'mail-source
253   :type 'file)
254
255 (defcustom mail-source-directory message-directory
256   "Directory where files (if any) will be stored."
257   :group 'mail-source
258   :type 'directory)
259
260 (defcustom mail-source-default-file-modes 384
261   "Set the mode bits of all new mail files to this integer."
262   :group 'mail-source
263   :type 'integer)
264
265 (defcustom mail-source-delete-incoming nil
266   "*If non-nil, delete incoming files after handling.
267 If t, delete immediately, if nil, never delete.  If a positive number, delete
268 files older than number of days."
269   ;; Note: The removing happens in `mail-source-callback', i.e. no old
270   ;; incoming files will be deleted, unless you receive new mail.
271   ;;
272   ;; You may also set this to `nil' and call `mail-source-delete-old-incoming'
273   ;; from a hook or interactively.
274   :group 'mail-source
275   :type '(choice (const :tag "immediately" t)
276                  (const :tag "never" nil)
277                  (integer :tag "days")))
278
279 (defcustom mail-source-delete-old-incoming-confirm t
280   "*If non-nil, ask for for confirmation before deleting old incoming files.
281 This variable only applies when `mail-source-delete-incoming' is a positive
282 number."
283   :group 'mail-source
284   :type 'boolean)
285
286 (defcustom mail-source-incoming-file-prefix "Incoming"
287   "Prefix for file name for storing incoming mail"
288   :group 'mail-source
289   :type 'string)
290
291 (defcustom mail-source-report-new-mail-interval 5
292   "Interval in minutes between checks for new mail."
293   :group 'mail-source
294   :type 'number)
295
296 (defcustom mail-source-idle-time-delay 5
297   "Number of idle seconds to wait before checking for new mail."
298   :group 'mail-source
299   :type 'number)
300
301 (defcustom mail-source-movemail-program nil
302   "If non-nil, name of program for fetching new mail."
303   :group 'mail-source
304   :type '(choice (const nil) string))
305
306 ;;; Internal variables.
307
308 (defvar mail-source-string ""
309   "A dynamically bound string that says what the current mail source is.")
310
311 (defvar mail-source-new-mail-available nil
312   "Flag indicating when new mail is available.")
313
314 (eval-and-compile
315   (defvar mail-source-common-keyword-map
316     '((:plugged))
317     "Mapping from keywords to default values.
318 Common keywords should be listed here.")
319
320   (defvar mail-source-keyword-map
321     '((file
322        (:prescript)
323        (:prescript-delay)
324        (:postscript)
325        (:path (or (getenv "MAIL")
326                   (expand-file-name (user-login-name) rmail-spool-directory))))
327       (directory
328        (:prescript)
329        (:prescript-delay)
330        (:postscript)
331        (:path)
332        (:suffix ".spool")
333        (:predicate identity))
334       (pop
335        (:prescript)
336        (:prescript-delay)
337        (:postscript)
338        (:server (getenv "MAILHOST"))
339        (:port 110)
340        (:user (or (user-login-name) (getenv "LOGNAME") (getenv "USER")))
341        (:program)
342        (:function)
343        (:password)
344        (:authentication password))
345       (maildir
346        (:path (or (getenv "MAILDIR") "~/Maildir/"))
347        (:subdirs ("cur" "new"))
348        (:function))
349       (imap
350        (:server (getenv "MAILHOST"))
351        (:port)
352        (:stream)
353        (:program)
354        (:authentication)
355        (:user (or (user-login-name) (getenv "LOGNAME") (getenv "USER")))
356        (:password)
357        (:mailbox "INBOX")
358        (:predicate "UNSEEN UNDELETED")
359        (:fetchflag "\\Deleted")
360        (:prescript)
361        (:prescript-delay)
362        (:postscript)
363        (:dontexpunge))
364       (webmail
365        (:subtype hotmail)
366        (:user (or (user-login-name) (getenv "LOGNAME") (getenv "USER")))
367        (:password)
368        (:dontexpunge)
369        (:authentication password)))
370     "Mapping from keywords to default values.
371 All keywords that can be used must be listed here."))
372
373 (defvar mail-source-fetcher-alist
374   '((file mail-source-fetch-file)
375     (directory mail-source-fetch-directory)
376     (pop mail-source-fetch-pop)
377     (maildir mail-source-fetch-maildir)
378     (imap mail-source-fetch-imap)
379     (webmail mail-source-fetch-webmail))
380   "A mapping from source type to fetcher function.")
381
382 (defvar mail-source-password-cache nil)
383
384 (defvar mail-source-plugged t)
385
386 ;;; Functions
387
388 (eval-and-compile
389   (defun mail-source-strip-keyword (keyword)
390     "Strip the leading colon off the KEYWORD."
391     (intern (substring (symbol-name keyword) 1))))
392
393 (eval-and-compile
394   (defun mail-source-bind-1 (type)
395     (let* ((defaults (cdr (assq type mail-source-keyword-map)))
396            default bind)
397       (while (setq default (pop defaults))
398         (push (list (mail-source-strip-keyword (car default))
399                     nil)
400               bind))
401       bind)))
402
403 (defmacro mail-source-bind (type-source &rest body)
404   "Return a `let' form that binds all variables in source TYPE.
405 TYPE-SOURCE is a list where the first element is the TYPE, and
406 the second variable is the SOURCE.
407 At run time, the mail source specifier SOURCE will be inspected,
408 and the variables will be set according to it.  Variables not
409 specified will be given default values.
410
411 After this is done, BODY will be executed in the scope
412 of the `let' form.
413
414 The variables bound and their default values are described by
415 the `mail-source-keyword-map' variable."
416   `(let ,(mail-source-bind-1 (car type-source))
417      (mail-source-set-1 ,(cadr type-source))
418      ,@body))
419
420 (put 'mail-source-bind 'lisp-indent-function 1)
421 (put 'mail-source-bind 'edebug-form-spec '(sexp body))
422
423 (defun mail-source-set-1 (source)
424   (let* ((type (pop source))
425          (defaults (cdr (assq type mail-source-keyword-map)))
426          default value keyword)
427     (while (setq default (pop defaults))
428       (set (mail-source-strip-keyword (setq keyword (car default)))
429            (if (setq value (plist-get source keyword))
430                (mail-source-value value)
431              (mail-source-value (cadr default)))))))
432
433 (eval-and-compile
434   (defun mail-source-bind-common-1 ()
435     (let* ((defaults mail-source-common-keyword-map)
436            default bind)
437       (while (setq default (pop defaults))
438         (push (list (mail-source-strip-keyword (car default))
439                     nil)
440               bind))
441       bind)))
442
443 (defun mail-source-set-common-1 (source)
444   (let* ((type (pop source))
445          (defaults mail-source-common-keyword-map)
446          (defaults-1 (cdr (assq type mail-source-keyword-map)))
447          default value keyword)
448     (while (setq default (pop defaults))
449       (set (mail-source-strip-keyword (setq keyword (car default)))
450            (if (setq value (plist-get source keyword))
451                (mail-source-value value)
452              (if (setq value (assq  keyword defaults-1))
453                  (mail-source-value (cadr value))
454                (mail-source-value (cadr default))))))))
455
456 (defmacro mail-source-bind-common (source &rest body)
457   "Return a `let' form that binds all common variables.
458 See `mail-source-bind'."
459   `(let ,(mail-source-bind-common-1)
460      (mail-source-set-common-1 source)
461      ,@body))
462
463 (put 'mail-source-bind-common 'lisp-indent-function 1)
464 (put 'mail-source-bind-common 'edebug-form-spec '(sexp body))
465
466 (defun mail-source-value (value)
467   "Return the value of VALUE."
468   (cond
469    ;; String
470    ((stringp value)
471     value)
472    ;; Function
473    ((and (listp value)
474          (functionp (car value)))
475     (eval value))
476    ;; Just return the value.
477    (t
478     value)))
479
480 (defun mail-source-fetch (source callback)
481   "Fetch mail from SOURCE and call CALLBACK zero or more times.
482 CALLBACK will be called with the name of the file where (some of)
483 the mail from SOURCE is put.
484 Return the number of files that were found."
485   (mail-source-bind-common source
486     (if (or mail-source-plugged plugged)
487         (save-excursion
488           (let ((function (cadr (assq (car source) mail-source-fetcher-alist)))
489                 (found 0))
490             (unless function
491               (error "%S is an invalid mail source specification" source))
492             ;; If there's anything in the crash box, we do it first.
493             (when (file-exists-p mail-source-crash-box)
494               (message "Processing mail from %s..." mail-source-crash-box)
495               (setq found (mail-source-callback
496                            callback mail-source-crash-box)))
497             (+ found
498                (if (or debug-on-quit debug-on-error)
499                    (funcall function source callback)
500                  (condition-case err
501                      (funcall function source callback)
502                    (error
503                     (if (and (not mail-source-ignore-errors)
504                              (not
505                               (yes-or-no-p
506                                (format "Mail source %s error (%s).  Continue? "
507                                        (if (memq ':password source)
508                                            (let ((s (copy-sequence source)))
509                                              (setcar (cdr (memq ':password s)) 
510                                                      "********")
511                                              s)
512                                          source)
513                                        (cadr err)))))
514                       (error "Cannot get new mail"))
515                     0)))))))))
516
517 (defun mail-source-delete-old-incoming (&optional age confirm)
518   "Remove incoming files older than AGE days.
519 If CONFIRM is non-nil, ask for confirmation before removing a file."
520   (interactive "P")
521   (let* ((high2days (/ 65536.0 60 60 24));; convert high bits to days
522          (low2days  (/ 1.0 65536.0))     ;; convert low bits to days
523          (diff (if (natnump age) age 30));; fallback, if no valid AGE given
524          currday files)
525     (setq files (directory-files
526                  mail-source-directory t
527                  (concat mail-source-incoming-file-prefix "*"))
528           currday (* (car (current-time)) high2days)
529           currday (+ currday (* low2days (nth 1 (current-time)))))
530     (while files
531       (let* ((ffile (car files))
532              (bfile (gnus-replace-in-string
533                      ffile "\\`.*/\\([^/]+\\)\\'" "\\1"))
534              (filetime (nth 5 (file-attributes ffile)))
535              (fileday (* (car filetime) high2days))
536              (fileday (+ fileday (* low2days (nth 1 filetime)))))
537         (setq files (cdr files))
538         (when (and (> (- currday fileday) diff)
539                    (gnus-message 8 "File `%s' is older than %s day(s)"
540                                  bfile diff)
541                    (or (not confirm)
542                        (y-or-n-p (concat "Remove file `" bfile "'? "))))
543           (delete-file ffile))))))
544
545 (defun mail-source-callback (callback info)
546   "Call CALLBACK on the mail file, and then remove the mail file.
547 Pass INFO on to CALLBACK."
548   (if (or (not (file-exists-p mail-source-crash-box))
549           (zerop (nth 7 (file-attributes mail-source-crash-box))))
550       (progn
551         (when (file-exists-p mail-source-crash-box)
552           (delete-file mail-source-crash-box))
553         0)
554     (prog1
555         (funcall callback mail-source-crash-box info)
556       (when (file-exists-p mail-source-crash-box)
557         ;; Delete or move the incoming mail out of the way.
558         (if (eq mail-source-delete-incoming t)
559             (delete-file mail-source-crash-box)
560           (let ((incoming
561                  (mm-make-temp-file
562                   (expand-file-name
563                    mail-source-incoming-file-prefix
564                    mail-source-directory))))
565             (unless (file-exists-p (file-name-directory incoming))
566               (make-directory (file-name-directory incoming) t))
567             (rename-file mail-source-crash-box incoming t)
568             ;; remove old incoming files?
569             (when (natnump mail-source-delete-incoming)
570               (mail-source-delete-old-incoming
571                mail-source-delete-incoming
572                mail-source-delete-old-incoming-confirm))))))))
573
574 (defun mail-source-movemail (from to)
575   "Move FROM to TO using movemail."
576   (if (not (file-writable-p to))
577       (error "Can't write to crash box %s.  Not moving mail" to)
578     (let ((to (file-truename (expand-file-name to)))
579           errors result)
580       (setq to (file-truename to)
581             from (file-truename from))
582       ;; Set TO if have not already done so, and rename or copy
583       ;; the file FROM to TO if and as appropriate.
584       (cond
585        ((file-exists-p to)
586         ;; The crash box exists already.
587         t)
588        ((not (file-exists-p from))
589         ;; There is no inbox.
590         (setq to nil))
591        ((zerop (nth 7 (file-attributes from)))
592         ;; Empty file.
593         (setq to nil))
594        (t
595         ;; If getting from mail spool directory, use movemail to move
596         ;; rather than just renaming, so as to interlock with the
597         ;; mailer.
598         (unwind-protect
599             (save-excursion
600               (setq errors (generate-new-buffer " *mail source loss*"))
601               (let ((default-directory "/"))
602                 (setq result
603                       (apply
604                        'call-process
605                        (append
606                         (list
607                          (or mail-source-movemail-program
608                              (expand-file-name "movemail" exec-directory))
609                          nil errors nil from to)))))
610               (when (file-exists-p to)
611                 (set-file-modes to mail-source-default-file-modes))
612               (if (and (or (not (buffer-modified-p errors))
613                            (zerop (buffer-size errors)))
614                        (and (numberp result)
615                             (zerop result)))
616                   ;; No output => movemail won.
617                   t
618                 (set-buffer errors)
619                 ;; There may be a warning about older revisions.  We
620                 ;; ignore that.
621                 (goto-char (point-min))
622                 (if (search-forward "older revision" nil t)
623                     t
624                   ;; Probably a real error.
625                   (subst-char-in-region (point-min) (point-max) ?\n ?\  )
626                   (goto-char (point-max))
627                   (skip-chars-backward " \t")
628                   (delete-region (point) (point-max))
629                   (goto-char (point-min))
630                   (when (looking-at "movemail: ")
631                     (delete-region (point-min) (match-end 0)))
632                   ;; Result may be a signal description string.
633                   (unless (yes-or-no-p
634                            (format "movemail: %s (%s return).  Continue? "
635                                    (buffer-string) result))
636                     (error "%s" (buffer-string)))
637                   (setq to nil)))))))
638       (when (and errors
639                  (buffer-name errors))
640         (kill-buffer errors))
641       ;; Return whether we moved successfully or not.
642       to)))
643
644 (defun mail-source-movemail-and-remove (from to)
645   "Move FROM to TO using movemail, then remove FROM if empty."
646   (or (not (mail-source-movemail from to))
647       (not (zerop (nth 7 (file-attributes from))))
648       (delete-file from)))
649
650 (defun mail-source-fetch-with-program (program)
651   (eq 0 (call-process shell-file-name nil nil nil
652                       shell-command-switch program)))
653
654 (defun mail-source-run-script (script spec &optional delay)
655   (when script
656     (if (functionp script)
657         (funcall script)
658       (mail-source-call-script
659        (format-spec script spec))))
660   (when delay
661     (sleep-for delay)))
662
663 (defun mail-source-call-script (script)
664   (let ((background nil))
665     (when (string-match "& *$" script)
666       (setq script (substring script 0 (match-beginning 0))
667             background 0))
668     (call-process shell-file-name nil background nil
669                   shell-command-switch script)))
670
671 ;;;
672 ;;; Different fetchers
673 ;;;
674
675 (defun mail-source-fetch-file (source callback)
676   "Fetcher for single-file sources."
677   (mail-source-bind (file source)
678     (mail-source-run-script
679      prescript (format-spec-make ?t mail-source-crash-box)
680      prescript-delay)
681     (let ((mail-source-string (format "file:%s" path)))
682       (if (mail-source-movemail path mail-source-crash-box)
683           (prog1
684               (mail-source-callback callback path)
685             (mail-source-run-script
686              postscript (format-spec-make ?t mail-source-crash-box)))
687         0))))
688
689 (defun mail-source-fetch-directory (source callback)
690   "Fetcher for directory sources."
691   (mail-source-bind (directory source)
692     (mail-source-run-script
693      prescript (format-spec-make ?t path) prescript-delay)
694     (let ((found 0)
695           (mail-source-string (format "directory:%s" path)))
696       (dolist (file (directory-files
697                      path t (concat (regexp-quote suffix) "$")))
698         (when (and (file-regular-p file)
699                    (funcall predicate file)
700                    (mail-source-movemail file mail-source-crash-box))
701           (incf found (mail-source-callback callback file))))
702       (mail-source-run-script postscript (format-spec-make ?t path))
703       found)))
704
705 (defun mail-source-fetch-pop (source callback)
706   "Fetcher for single-file sources."
707   (mail-source-bind (pop source)
708     (mail-source-run-script
709      prescript
710      (format-spec-make ?p password ?t mail-source-crash-box
711                        ?s server ?P port ?u user)
712      prescript-delay)
713     (let ((from (format "%s:%s:%s" server user port))
714           (mail-source-string (format "pop:%s@%s" user server))
715           result)
716       (when (eq authentication 'password)
717         (setq password
718               (or password
719                   (cdr (assoc from mail-source-password-cache))
720                   (read-passwd
721                    (format "Password for %s at %s: " user server)))))
722       (when server
723         (setenv "MAILHOST" server))
724       (setq result
725             (cond
726              (program
727               (mail-source-fetch-with-program
728                (format-spec
729                 program
730                 (format-spec-make ?p password ?t mail-source-crash-box
731                                   ?s server ?P port ?u user))))
732              (function
733               (funcall function mail-source-crash-box))
734              ;; The default is to use pop3.el.
735              (t
736               (let ((pop3-password password)
737                     (pop3-maildrop user)
738                     (pop3-mailhost server)
739                     (pop3-port port)
740                     (pop3-authentication-scheme
741                      (if (eq authentication 'apop) 'apop 'pass)))
742                 (if (or debug-on-quit debug-on-error)
743                     (save-excursion (pop3-movemail mail-source-crash-box))
744                   (condition-case err
745                       (save-excursion (pop3-movemail mail-source-crash-box))
746                     (error
747                      ;; We nix out the password in case the error
748                      ;; was because of a wrong password being given.
749                      (setq mail-source-password-cache
750                            (delq (assoc from mail-source-password-cache)
751                                  mail-source-password-cache))
752                      (signal (car err) (cdr err)))))))))
753       (if result
754           (progn
755             (when (eq authentication 'password)
756               (unless (assoc from mail-source-password-cache)
757                 (push (cons from password) mail-source-password-cache)))
758             (prog1
759                 (mail-source-callback callback server)
760               ;; Update display-time's mail flag, if relevant.
761               (if (equal source mail-source-primary-source)
762                   (setq mail-source-new-mail-available nil))
763               (mail-source-run-script
764                postscript
765                (format-spec-make ?p password ?t mail-source-crash-box
766                                  ?s server ?P port ?u user))))
767         ;; We nix out the password in case the error
768         ;; was because of a wrong password being given.
769         (setq mail-source-password-cache
770               (delq (assoc from mail-source-password-cache)
771                     mail-source-password-cache))
772         0))))
773
774 (defun mail-source-check-pop (source)
775   "Check whether there is new mail."
776   (mail-source-bind (pop source)
777     (let ((from (format "%s:%s:%s" server user port))
778           (mail-source-string (format "pop:%s@%s" user server))
779           result)
780       (when (eq authentication 'password)
781         (setq password
782               (or password
783                   (cdr (assoc from mail-source-password-cache))
784                   (read-passwd
785                    (format "Password for %s at %s: " user server))))
786         (unless (assoc from mail-source-password-cache)
787           (push (cons from password) mail-source-password-cache)))
788       (when server
789         (setenv "MAILHOST" server))
790       (setq result
791             (cond
792              ;; No easy way to check whether mail is waiting for these.
793              (program)
794              (function)
795              ;; The default is to use pop3.el.
796              (t
797               (let ((pop3-password password)
798                     (pop3-maildrop user)
799                     (pop3-mailhost server)
800                     (pop3-port port)
801                     (pop3-authentication-scheme
802                      (if (eq authentication 'apop) 'apop 'pass)))
803                 (if (or debug-on-quit debug-on-error)
804                     (save-excursion (pop3-get-message-count))
805                   (condition-case err
806                       (save-excursion (pop3-get-message-count))
807                     (error
808                      ;; We nix out the password in case the error
809                      ;; was because of a wrong password being given.
810                      (setq mail-source-password-cache
811                            (delq (assoc from mail-source-password-cache)
812                                  mail-source-password-cache))
813                      (signal (car err) (cdr err)))))))))
814       (if result
815           ;; Inform display-time that we have new mail.
816           (setq mail-source-new-mail-available (> result 0))
817         ;; We nix out the password in case the error
818         ;; was because of a wrong password being given.
819         (setq mail-source-password-cache
820               (delq (assoc from mail-source-password-cache)
821                     mail-source-password-cache)))
822       result)))
823
824 (defun mail-source-touch-pop ()
825   "Open and close a POP connection shortly.
826 POP server should be defined in `mail-source-primary-source' (which is
827 preferred) or `mail-sources'.  You may use it for the POP-before-SMTP
828 authentication.  To do that, you need to set the
829 `message-send-mail-function' variable as `message-smtpmail-send-it'
830 and put the following line in your ~/.gnus.el file:
831
832 \(add-hook 'message-send-mail-hook 'mail-source-touch-pop)
833
834 See the Gnus manual for details."
835   (let ((sources (if mail-source-primary-source
836                      (list mail-source-primary-source)
837                    mail-sources)))
838     (while sources
839       (if (eq 'pop (car (car sources)))
840           (mail-source-check-pop (car sources)))
841       (setq sources (cdr sources)))))
842
843 (defun mail-source-new-mail-p ()
844   "Handler for `display-time' to indicate when new mail is available."
845   ;; Flash (ie. ring the visible bell) if mail is available.
846   (if (and mail-source-flash mail-source-new-mail-available)
847       (let ((visible-bell t))
848         (ding)))
849   ;; Only report flag setting; flag is updated on a different schedule.
850   mail-source-new-mail-available)
851
852
853 (defvar mail-source-report-new-mail nil)
854 (defvar mail-source-report-new-mail-timer nil)
855 (defvar mail-source-report-new-mail-idle-timer nil)
856
857 (eval-when-compile
858   (if (featurep 'xemacs)
859       (require 'itimer)
860     (require 'timer)))
861
862 (defun mail-source-start-idle-timer ()
863   ;; Start our idle timer if necessary, so we delay the check until the
864   ;; user isn't typing.
865   (unless mail-source-report-new-mail-idle-timer
866     (setq mail-source-report-new-mail-idle-timer
867           (run-with-idle-timer
868            mail-source-idle-time-delay
869            nil
870            (lambda ()
871              (unwind-protect
872                  (mail-source-check-pop mail-source-primary-source)
873                (setq mail-source-report-new-mail-idle-timer nil)))))
874     ;; Since idle timers created when Emacs is already in the idle
875     ;; state don't get activated until Emacs _next_ becomes idle, we
876     ;; need to force our timer to be considered active now.  We do
877     ;; this by being naughty and poking the timer internals directly
878     ;; (element 0 of the vector is nil if the timer is active).
879     (aset mail-source-report-new-mail-idle-timer 0 nil)))
880
881 (defun mail-source-report-new-mail (arg)
882   "Toggle whether to report when new mail is available.
883 This only works when `display-time' is enabled."
884   (interactive "P")
885   (if (not mail-source-primary-source)
886       (error "Need to set `mail-source-primary-source' to check for new mail"))
887   (let ((on (if (null arg)
888                 (not mail-source-report-new-mail)
889               (> (prefix-numeric-value arg) 0))))
890     (setq mail-source-report-new-mail on)
891     (and mail-source-report-new-mail-timer
892          (nnheader-cancel-timer mail-source-report-new-mail-timer))
893     (and mail-source-report-new-mail-idle-timer
894          (nnheader-cancel-timer mail-source-report-new-mail-idle-timer))
895     (setq mail-source-report-new-mail-timer nil)
896     (setq mail-source-report-new-mail-idle-timer nil)
897     (if on
898         (progn
899           (require 'time)
900           ;; display-time-mail-function is an Emacs 21 feature.
901           (setq display-time-mail-function #'mail-source-new-mail-p)
902           ;; Set up the main timer.
903           (setq mail-source-report-new-mail-timer
904                 (run-at-time
905                  (* 60 mail-source-report-new-mail-interval)
906                  (* 60 mail-source-report-new-mail-interval)
907                  #'mail-source-start-idle-timer))
908           ;; When you get new mail, clear "Mail" from the mode line.
909           (add-hook 'nnmail-post-get-new-mail-hook
910                     'display-time-event-handler)
911           (message "Mail check enabled"))
912       (setq display-time-mail-function nil)
913       (remove-hook 'nnmail-post-get-new-mail-hook
914                    'display-time-event-handler)
915       (message "Mail check disabled"))))
916
917 (defun mail-source-fetch-maildir (source callback)
918   "Fetcher for maildir sources."
919   (mail-source-bind (maildir source)
920     (let ((found 0)
921           mail-source-string)
922       (unless (string-match "/$" path)
923         (setq path (concat path "/")))
924       (dolist (subdir subdirs)
925         (when (file-directory-p (concat path subdir))
926           (setq mail-source-string (format "maildir:%s%s" path subdir))
927           (dolist (file (directory-files (concat path subdir) t))
928             (when (and (not (file-directory-p file))
929                        (not (if function
930                                 (funcall function file mail-source-crash-box)
931                               (let ((coding-system-for-write
932                                      mm-text-coding-system)
933                                     (coding-system-for-read
934                                      mm-text-coding-system))
935                                 (with-temp-file mail-source-crash-box
936                                   (insert-file-contents file)
937                                   (goto-char (point-min))
938 ;;;                               ;; Unix mail format
939 ;;;                               (unless (looking-at "\n*From ")
940 ;;;                                 (insert "From maildir "
941 ;;;                                         (current-time-string) "\n"))
942 ;;;                               (while (re-search-forward "^From " nil t)
943 ;;;                                 (replace-match ">From "))
944 ;;;                               (goto-char (point-max))
945 ;;;                               (insert "\n\n")
946                                   ;; MMDF mail format
947                                   (insert "\001\001\001\001\n"))
948                                 (delete-file file)))))
949               (incf found (mail-source-callback callback file))))))
950       found)))
951
952 (eval-and-compile
953   (autoload 'imap-open "imap")
954   (autoload 'imap-authenticate "imap")
955   (autoload 'imap-mailbox-select "imap")
956   (autoload 'imap-mailbox-unselect "imap")
957   (autoload 'imap-mailbox-close "imap")
958   (autoload 'imap-search "imap")
959   (autoload 'imap-fetch "imap")
960   (autoload 'imap-close "imap")
961   (autoload 'imap-error-text "imap")
962   (autoload 'imap-message-flags-add "imap")
963   (autoload 'imap-list-to-message-set "imap")
964   (autoload 'imap-range-to-message-set "imap")
965   (autoload 'nnheader-ms-strip-cr "nnheader"))
966
967 (defvar mail-source-imap-file-coding-system 'binary
968   "Coding system for the crashbox made by `mail-source-fetch-imap'.")
969
970 (defun mail-source-fetch-imap (source callback)
971   "Fetcher for imap sources."
972   (mail-source-bind (imap source)
973     (mail-source-run-script
974      prescript (format-spec-make ?p password ?t mail-source-crash-box
975                                  ?s server ?P port ?u user)
976      prescript-delay)
977     (let ((from (format "%s:%s:%s" server user port))
978           (found 0)
979           (buf (generate-new-buffer " *imap source*"))
980           (mail-source-string (format "imap:%s:%s" server mailbox))
981           (imap-shell-program (or (list program) imap-shell-program))
982           remove)
983       (if (and (imap-open server port stream authentication buf)
984                (imap-authenticate
985                 user (or (cdr (assoc from mail-source-password-cache))
986                          password) buf)
987                (imap-mailbox-select mailbox nil buf))
988           (let ((coding-system-for-write mail-source-imap-file-coding-system)
989                 str)
990             (with-temp-file mail-source-crash-box
991               ;; Avoid converting 8-bit chars from inserted strings to
992               ;; multibyte.
993               (mm-disable-multibyte)
994               ;; remember password
995               (with-current-buffer buf
996                 (when (and imap-password
997                            (not (assoc from mail-source-password-cache)))
998                   (push (cons from imap-password) mail-source-password-cache)))
999               ;; if predicate is nil, use all uids
1000               (dolist (uid (imap-search (or predicate "1:*") buf))
1001                 (when (setq str
1002                             (if (imap-capability 'IMAP4rev1 buf)
1003                                 (caddar (imap-fetch uid "BODY.PEEK[]"
1004                                                     'BODYDETAIL nil buf))
1005                               (imap-fetch uid "RFC822.PEEK" 'RFC822 nil buf)))
1006                   (push uid remove)
1007                   (insert "From imap " (current-time-string) "\n")
1008                   (save-excursion
1009                     (insert str "\n\n"))
1010                   (while (re-search-forward "^From " nil t)
1011                     (replace-match ">From "))
1012                   (goto-char (point-max))))
1013               (nnheader-ms-strip-cr))
1014             (incf found (mail-source-callback callback server))
1015             (when (and remove fetchflag)
1016               (setq remove (nreverse remove))
1017               (imap-message-flags-add
1018                (imap-range-to-message-set (gnus-compress-sequence remove))
1019                fetchflag nil buf))
1020             (if dontexpunge
1021                 (imap-mailbox-unselect buf)
1022               (imap-mailbox-close nil buf))
1023             (imap-close buf))
1024         (imap-close buf)
1025         ;; We nix out the password in case the error
1026         ;; was because of a wrong password being given.
1027         (setq mail-source-password-cache
1028               (delq (assoc from mail-source-password-cache)
1029                     mail-source-password-cache))
1030         (error "IMAP error: %s" (imap-error-text buf)))
1031       (kill-buffer buf)
1032       (mail-source-run-script
1033        postscript
1034        (format-spec-make ?p password ?t mail-source-crash-box
1035                          ?s server ?P port ?u user))
1036       found)))
1037
1038 (eval-and-compile
1039   (autoload 'webmail-fetch "webmail"))
1040
1041 (defun mail-source-fetch-webmail (source callback)
1042   "Fetch for webmail source."
1043   (mail-source-bind (webmail source)
1044     (let ((mail-source-string (format "webmail:%s:%s" subtype user))
1045           (webmail-newmail-only dontexpunge)
1046           (webmail-move-to-trash-can (not dontexpunge)))
1047       (when (eq authentication 'password)
1048         (setq password
1049               (or password
1050                   (cdr (assoc (format "webmail:%s:%s" subtype user)
1051                               mail-source-password-cache))
1052                   (read-passwd
1053                    (format "Password for %s at %s: " user subtype))))
1054         (when (and password
1055                    (not (assoc (format "webmail:%s:%s" subtype user)
1056                                mail-source-password-cache)))
1057           (push (cons (format "webmail:%s:%s" subtype user) password)
1058                 mail-source-password-cache)))
1059       (webmail-fetch mail-source-crash-box subtype user password)
1060       (mail-source-callback callback (symbol-name subtype)))))
1061
1062 (provide 'mail-source)
1063
1064 ;;; mail-source.el ends here