Revision: miles@gnu.org--gnu-2005/gnus--devo--0--patch-182
[gnus] / lisp / mail-source.el
1 ;;; mail-source.el --- functions for fetching mail
2
3 ;; Copyright (C) 1999, 2000, 2001, 2002, 2003, 2004,
4 ;;   2005 Free Software Foundation, Inc.
5
6 ;; Author: Lars Magne Ingebrigtsen <larsi@gnus.org>
7 ;; Keywords: news, mail
8
9 ;; This file is part of GNU Emacs.
10
11 ;; GNU Emacs is free software; you can redistribute it and/or modify
12 ;; it under the terms of the GNU General Public License as published by
13 ;; the Free Software Foundation; either version 2, or (at your option)
14 ;; any later version.
15
16 ;; GNU Emacs is distributed in the hope that it will be useful,
17 ;; but WITHOUT ANY WARRANTY; without even the implied warranty of
18 ;; MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
19 ;; GNU General Public License for more details.
20
21 ;; You should have received a copy of the GNU General Public License
22 ;; along with GNU Emacs; see the file COPYING.  If not, write to the
23 ;; Free Software Foundation, Inc., 51 Franklin Street, Fifth Floor,
24 ;; Boston, MA 02110-1301, USA.
25
26 ;;; Commentary:
27
28 ;;; Code:
29
30 (eval-when-compile
31   (require 'cl)
32   (require 'imap)
33   (eval-when-compile (defvar display-time-mail-function)))
34 (eval-and-compile
35   (autoload 'pop3-movemail "pop3")
36   (autoload 'pop3-get-message-count "pop3")
37   (autoload 'nnheader-cancel-timer "nnheader"))
38 (require 'format-spec)
39 (require 'mm-util)
40 (require 'message) ;; for `message-directory'
41
42 (defgroup mail-source nil
43   "The mail-fetching library."
44   :version "21.1"
45   :group 'gnus)
46
47 ;; Define these at compile time to avoid dragging in imap always.
48 (defconst mail-source-imap-authenticators
49   (eval-when-compile
50     (mapcar (lambda (a)
51               (list 'const (car a)))
52      imap-authenticator-alist)))
53 (defconst mail-source-imap-streams
54   (eval-when-compile
55     (mapcar (lambda (a)
56               (list 'const (car a)))
57      imap-stream-alist)))
58
59 (defcustom mail-sources nil
60   "*Where the mail backends will look for incoming mail.
61 This variable is a list of mail source specifiers.
62 See Info node `(gnus)Mail Source Specifiers'."
63   :group 'mail-source
64   :link '(custom-manual "(gnus)Mail Source Specifiers")
65   :type `(repeat
66           (choice :format "%[Value Menu%] %v"
67                   :value (file)
68                   (cons :tag "Spool file"
69                         (const :format "" file)
70                         (checklist :tag "Options" :greedy t
71                                    (group :inline t
72                                           (const :format "" :value :path)
73                                           file)))
74                   (cons :tag "Several files in a directory"
75                         (const :format "" directory)
76                         (checklist :tag "Options" :greedy t
77                                    (group :inline t
78                                           (const :format "" :value :path)
79                                           (directory :tag "Path"))
80                                    (group :inline t
81                                           (const :format "" :value :suffix)
82                                           (string :tag "Suffix"))
83                                    (group :inline t
84                                           (const :format "" :value :predicate)
85                                           (function :tag "Predicate"))
86                                    (group :inline t
87                                           (const :format "" :value :prescript)
88                                           (choice :tag "Prescript"
89                                                   :value nil
90                                                   (string :format "%v")
91                                                   (function :format "%v")))
92                                    (group :inline t
93                                           (const :format "" :value :postscript)
94                                           (choice :tag "Postscript"
95                                                   :value nil
96                                                   (string :format "%v")
97                                                   (function :format "%v")))
98                                    (group :inline t
99                                           (const :format "" :value :plugged)
100                                           (boolean :tag "Plugged"))))
101                   (cons :tag "POP3 server"
102                         (const :format "" pop)
103                         (checklist :tag "Options" :greedy t
104                                    (group :inline t
105                                           (const :format "" :value :server)
106                                           (string :tag "Server"))
107                                    (group :inline t
108                                           (const :format "" :value :port)
109                                           (choice :tag "Port"
110                                                   :value "pop3"
111                                                   (number :format "%v")
112                                                   (string :format "%v")))
113                                    (group :inline t
114                                           (const :format "" :value :user)
115                                           (string :tag "User"))
116                                    (group :inline t
117                                           (const :format "" :value :password)
118                                           (string :tag "Password"))
119                                    (group :inline t
120                                           (const :format "" :value :program)
121                                           (string :tag "Program"))
122                                    (group :inline t
123                                           (const :format "" :value :prescript)
124                                           (choice :tag "Prescript"
125                                                   :value nil
126                                                   (string :format "%v")
127                                                   (function :format "%v")))
128                                    (group :inline t
129                                           (const :format "" :value :postscript)
130                                           (choice :tag "Postscript"
131                                                   :value nil
132                                                   (string :format "%v")
133                                                   (function :format "%v")))
134                                    (group :inline t
135                                           (const :format "" :value :function)
136                                           (function :tag "Function"))
137                                    (group :inline t
138                                           (const :format ""
139                                                  :value :authentication)
140                                           (choice :tag "Authentication"
141                                                   :value apop
142                                                   (const password)
143                                                   (const apop)))
144                                    (group :inline t
145                                           (const :format "" :value :plugged)
146                                           (boolean :tag "Plugged"))))
147                   (cons :tag "Maildir (qmail, postfix...)"
148                         (const :format "" maildir)
149                         (checklist :tag "Options" :greedy t
150                                    (group :inline t
151                                           (const :format "" :value :path)
152                                           (directory :tag "Path"))
153                                    (group :inline t
154                                           (const :format "" :value :plugged)
155                                           (boolean :tag "Plugged"))))
156                   (cons :tag "IMAP server"
157                         (const :format "" imap)
158                         (checklist :tag "Options" :greedy t
159                                    (group :inline t
160                                           (const :format "" :value :server)
161                                           (string :tag "Server"))
162                                    (group :inline t
163                                           (const :format "" :value :port)
164                                           (choice :tag "Port"
165                                                   :value 143
166                                                   number string))
167                                    (group :inline t
168                                           (const :format "" :value :user)
169                                           (string :tag "User"))
170                                    (group :inline t
171                                           (const :format "" :value :password)
172                                           (string :tag "Password"))
173                                    (group :inline t
174                                           (const :format "" :value :stream)
175                                           (choice :tag "Stream"
176                                                   :value network
177                                                   ,@mail-source-imap-streams))
178                                    (group :inline t
179                                           (const :format "" :value :program)
180                                           (string :tag "Program"))
181                                    (group :inline t
182                                           (const :format ""
183                                                  :value :authenticator)
184                                           (choice :tag "Authenticator"
185                                                   :value login
186                                                   ,@mail-source-imap-authenticators))
187                                    (group :inline t
188                                           (const :format "" :value :mailbox)
189                                           (string :tag "Mailbox"
190                                                   :value "INBOX"))
191                                    (group :inline t
192                                           (const :format "" :value :predicate)
193                                           (string :tag "Predicate"
194                                                   :value "UNSEEN UNDELETED"))
195                                    (group :inline t
196                                           (const :format "" :value :fetchflag)
197                                           (string :tag "Fetchflag"
198                                                   :value  "\\Deleted"))
199                                    (group :inline t
200                                           (const :format ""
201                                                  :value :dontexpunge)
202                                           (boolean :tag "Dontexpunge"))
203                                    (group :inline t
204                                           (const :format "" :value :plugged)
205                                           (boolean :tag "Plugged"))))
206                   (cons :tag "Webmail server"
207                         (const :format "" webmail)
208                         (checklist :tag "Options" :greedy t
209                                    (group :inline t
210                                          (const :format "" :value :subtype)
211                                          ;; Should be generated from
212                                          ;; `webmail-type-definition', but we
213                                          ;; can't require webmail without W3.
214                                          (choice :tag "Subtype"
215                                                  :value hotmail
216                                                  (const hotmail)
217                                                  (const yahoo)
218                                                  (const netaddress)
219                                                  (const netscape)
220                                                  (const my-deja)))
221                                    (group :inline t
222                                           (const :format "" :value :user)
223                                           (string :tag "User"))
224                                    (group :inline t
225                                           (const :format "" :value :password)
226                                           (string :tag "Password"))
227                                    (group :inline t
228                                           (const :format ""
229                                                  :value :dontexpunge)
230                                           (boolean :tag "Dontexpunge"))
231                                    (group :inline t
232                                           (const :format "" :value :plugged)
233                                           (boolean :tag "Plugged")))))))
234
235 (defcustom mail-source-ignore-errors nil
236   "*Ignore errors when querying mail sources.
237 If nil, the user will be prompted when an error occurs.  If non-nil,
238 the error will be ignored."
239   :version "22.1"
240   :group 'mail-source
241   :type 'boolean)
242
243 (defcustom mail-source-primary-source nil
244   "*Primary source for incoming mail.
245 If non-nil, this maildrop will be checked periodically for new mail."
246   :group 'mail-source
247   :type 'sexp)
248
249 (defcustom mail-source-flash t
250   "*If non-nil, flash periodically when mail is available."
251   :group 'mail-source
252   :type 'boolean)
253
254 (defcustom mail-source-crash-box "~/.emacs-mail-crash-box"
255   "File where mail will be stored while processing it."
256   :group 'mail-source
257   :type 'file)
258
259 (defcustom mail-source-directory message-directory
260   "Directory where incoming mail source files (if any) will be stored."
261   :group 'mail-source
262   :type 'directory)
263
264 (defcustom mail-source-default-file-modes 384
265   "Set the mode bits of all new mail files to this integer."
266   :group 'mail-source
267   :type 'integer)
268
269 (defcustom mail-source-delete-incoming nil
270   "*If non-nil, delete incoming files after handling.
271 If t, delete immediately, if nil, never delete.  If a positive number, delete
272 files older than number of days."
273   ;; Note: The removing happens in `mail-source-callback', i.e. no old
274   ;; incoming files will be deleted, unless you receive new mail.
275   ;;
276   ;; You may also set this to `nil' and call `mail-source-delete-old-incoming'
277   ;; from a hook or interactively.
278   :group 'mail-source
279   :type '(choice (const :tag "immediately" t)
280                  (const :tag "never" nil)
281                  (integer :tag "days")))
282
283 (defcustom mail-source-delete-old-incoming-confirm t
284   "*If non-nil, ask for for confirmation before deleting old incoming files.
285 This variable only applies when `mail-source-delete-incoming' is a positive
286 number."
287   :version "22.1"
288   :group 'mail-source
289   :type 'boolean)
290
291 (defcustom mail-source-incoming-file-prefix "Incoming"
292   "Prefix for file name for storing incoming mail"
293   :group 'mail-source
294   :type 'string)
295
296 (defcustom mail-source-report-new-mail-interval 5
297   "Interval in minutes between checks for new mail."
298   :group 'mail-source
299   :type 'number)
300
301 (defcustom mail-source-idle-time-delay 5
302   "Number of idle seconds to wait before checking for new mail."
303   :group 'mail-source
304   :type 'number)
305
306 (defcustom mail-source-movemail-program nil
307   "If non-nil, name of program for fetching new mail."
308   :version "22.1"
309   :group 'mail-source
310   :type '(choice (const nil) string))
311
312 ;;; Internal variables.
313
314 (defvar mail-source-string ""
315   "A dynamically bound string that says what the current mail source is.")
316
317 (defvar mail-source-new-mail-available nil
318   "Flag indicating when new mail is available.")
319
320 (eval-and-compile
321   (defvar mail-source-common-keyword-map
322     '((:plugged))
323     "Mapping from keywords to default values.
324 Common keywords should be listed here.")
325
326   (defvar mail-source-keyword-map
327     '((file
328        (:prescript)
329        (:prescript-delay)
330        (:postscript)
331        (:path (or (getenv "MAIL")
332                   (expand-file-name (user-login-name) rmail-spool-directory))))
333       (directory
334        (:prescript)
335        (:prescript-delay)
336        (:postscript)
337        (:path)
338        (:suffix ".spool")
339        (:predicate identity))
340       (pop
341        (:prescript)
342        (:prescript-delay)
343        (:postscript)
344        (:server (getenv "MAILHOST"))
345        (:port 110)
346        (:user (or (user-login-name) (getenv "LOGNAME") (getenv "USER")))
347        (:program)
348        (:function)
349        (:password)
350        (:authentication password))
351       (maildir
352        (:path (or (getenv "MAILDIR") "~/Maildir/"))
353        (:subdirs ("cur" "new"))
354        (:function))
355       (imap
356        (:server (getenv "MAILHOST"))
357        (:port)
358        (:stream)
359        (:program)
360        (:authentication)
361        (:user (or (user-login-name) (getenv "LOGNAME") (getenv "USER")))
362        (:password)
363        (:mailbox "INBOX")
364        (:predicate "UNSEEN UNDELETED")
365        (:fetchflag "\\Deleted")
366        (:prescript)
367        (:prescript-delay)
368        (:postscript)
369        (:dontexpunge))
370       (webmail
371        (:subtype hotmail)
372        (:user (or (user-login-name) (getenv "LOGNAME") (getenv "USER")))
373        (:password)
374        (:dontexpunge)
375        (:authentication password)))
376     "Mapping from keywords to default values.
377 All keywords that can be used must be listed here."))
378
379 (defvar mail-source-fetcher-alist
380   '((file mail-source-fetch-file)
381     (directory mail-source-fetch-directory)
382     (pop mail-source-fetch-pop)
383     (maildir mail-source-fetch-maildir)
384     (imap mail-source-fetch-imap)
385     (webmail mail-source-fetch-webmail))
386   "A mapping from source type to fetcher function.")
387
388 (defvar mail-source-password-cache nil)
389
390 (defvar mail-source-plugged t)
391
392 ;;; Functions
393
394 (eval-and-compile
395   (defun mail-source-strip-keyword (keyword)
396     "Strip the leading colon off the KEYWORD."
397     (intern (substring (symbol-name keyword) 1))))
398
399 (eval-and-compile
400   (defun mail-source-bind-1 (type)
401     (let* ((defaults (cdr (assq type mail-source-keyword-map)))
402            default bind)
403       (while (setq default (pop defaults))
404         (push (list (mail-source-strip-keyword (car default))
405                     nil)
406               bind))
407       bind)))
408
409 (defmacro mail-source-bind (type-source &rest body)
410   "Return a `let' form that binds all variables in source TYPE.
411 TYPE-SOURCE is a list where the first element is the TYPE, and
412 the second variable is the SOURCE.
413 At run time, the mail source specifier SOURCE will be inspected,
414 and the variables will be set according to it.  Variables not
415 specified will be given default values.
416
417 After this is done, BODY will be executed in the scope
418 of the `let' form.
419
420 The variables bound and their default values are described by
421 the `mail-source-keyword-map' variable."
422   `(let ,(mail-source-bind-1 (car type-source))
423      (mail-source-set-1 ,(cadr type-source))
424      ,@body))
425
426 (put 'mail-source-bind 'lisp-indent-function 1)
427 (put 'mail-source-bind 'edebug-form-spec '(sexp body))
428
429 (defun mail-source-set-1 (source)
430   (let* ((type (pop source))
431          (defaults (cdr (assq type mail-source-keyword-map)))
432          default value keyword)
433     (while (setq default (pop defaults))
434       (set (mail-source-strip-keyword (setq keyword (car default)))
435            (if (setq value (plist-get source keyword))
436                (mail-source-value value)
437              (mail-source-value (cadr default)))))))
438
439 (eval-and-compile
440   (defun mail-source-bind-common-1 ()
441     (let* ((defaults mail-source-common-keyword-map)
442            default bind)
443       (while (setq default (pop defaults))
444         (push (list (mail-source-strip-keyword (car default))
445                     nil)
446               bind))
447       bind)))
448
449 (defun mail-source-set-common-1 (source)
450   (let* ((type (pop source))
451          (defaults mail-source-common-keyword-map)
452          (defaults-1 (cdr (assq type mail-source-keyword-map)))
453          default value keyword)
454     (while (setq default (pop defaults))
455       (set (mail-source-strip-keyword (setq keyword (car default)))
456            (if (setq value (plist-get source keyword))
457                (mail-source-value value)
458              (if (setq value (assq  keyword defaults-1))
459                  (mail-source-value (cadr value))
460                (mail-source-value (cadr default))))))))
461
462 (defmacro mail-source-bind-common (source &rest body)
463   "Return a `let' form that binds all common variables.
464 See `mail-source-bind'."
465   `(let ,(mail-source-bind-common-1)
466      (mail-source-set-common-1 source)
467      ,@body))
468
469 (put 'mail-source-bind-common 'lisp-indent-function 1)
470 (put 'mail-source-bind-common 'edebug-form-spec '(sexp body))
471
472 (defun mail-source-value (value)
473   "Return the value of VALUE."
474   (cond
475    ;; String
476    ((stringp value)
477     value)
478    ;; Function
479    ((and (listp value)
480          (functionp (car value)))
481     (eval value))
482    ;; Just return the value.
483    (t
484     value)))
485
486 (defun mail-source-fetch (source callback)
487   "Fetch mail from SOURCE and call CALLBACK zero or more times.
488 CALLBACK will be called with the name of the file where (some of)
489 the mail from SOURCE is put.
490 Return the number of files that were found."
491   (mail-source-bind-common source
492     (if (or mail-source-plugged plugged)
493         (save-excursion
494           (let ((function (cadr (assq (car source) mail-source-fetcher-alist)))
495                 (found 0))
496             (unless function
497               (error "%S is an invalid mail source specification" source))
498             ;; If there's anything in the crash box, we do it first.
499             (when (file-exists-p mail-source-crash-box)
500               (message "Processing mail from %s..." mail-source-crash-box)
501               (setq found (mail-source-callback
502                            callback mail-source-crash-box))
503               (mail-source-delete-crash-box))
504             (+ found
505                (if (or debug-on-quit debug-on-error)
506                    (funcall function source callback)
507                  (condition-case err
508                      (funcall function source callback)
509                    (error
510                     (if (and (not mail-source-ignore-errors)
511                              (not
512                               (yes-or-no-p
513                                (format "Mail source %s error (%s).  Continue? "
514                                        (if (memq ':password source)
515                                            (let ((s (copy-sequence source)))
516                                              (setcar (cdr (memq ':password s))
517                                                      "********")
518                                              s)
519                                          source)
520                                        (cadr err)))))
521                       (error "Cannot get new mail"))
522                     0)))))))))
523
524 (defun mail-source-delete-old-incoming (&optional age confirm)
525   "Remove incoming files older than AGE days.
526 If CONFIRM is non-nil, ask for confirmation before removing a file."
527   (interactive "P")
528   (let* ((high2days (/ 65536.0 60 60 24));; convert high bits to days
529          (low2days  (/ 1.0 65536.0))     ;; convert low bits to days
530          (diff (if (natnump age) age 30));; fallback, if no valid AGE given
531          currday files)
532     (setq files (directory-files
533                  mail-source-directory t
534                  (concat mail-source-incoming-file-prefix "*"))
535           currday (* (car (current-time)) high2days)
536           currday (+ currday (* low2days (nth 1 (current-time)))))
537     (while files
538       (let* ((ffile (car files))
539              (bfile (gnus-replace-in-string
540                      ffile "\\`.*/\\([^/]+\\)\\'" "\\1"))
541              (filetime (nth 5 (file-attributes ffile)))
542              (fileday (* (car filetime) high2days))
543              (fileday (+ fileday (* low2days (nth 1 filetime)))))
544         (setq files (cdr files))
545         (when (and (> (- currday fileday) diff)
546                    (gnus-message 8 "File `%s' is older than %s day(s)"
547                                  bfile diff)
548                    (or (not confirm)
549                        (y-or-n-p (concat "Remove file `" bfile "'? "))))
550           (delete-file ffile))))))
551
552 (defun mail-source-callback (callback info)
553   "Call CALLBACK on the mail file.  Pass INFO on to CALLBACK."
554   (if (or (not (file-exists-p mail-source-crash-box))
555           (zerop (nth 7 (file-attributes mail-source-crash-box))))
556       (progn
557         (when (file-exists-p mail-source-crash-box)
558           (delete-file mail-source-crash-box))
559         0)
560     (funcall callback mail-source-crash-box info)))
561
562 (defun mail-source-delete-crash-box ()
563   (when (file-exists-p mail-source-crash-box)
564     ;; Delete or move the incoming mail out of the way.
565     (if (eq mail-source-delete-incoming t)
566         (delete-file mail-source-crash-box)
567       (let ((incoming
568              (mm-make-temp-file
569               (expand-file-name
570                mail-source-incoming-file-prefix
571                mail-source-directory))))
572         (unless (file-exists-p (file-name-directory incoming))
573           (make-directory (file-name-directory incoming) t))
574         (rename-file mail-source-crash-box incoming t)
575         ;; remove old incoming files?
576         (when (natnump mail-source-delete-incoming)
577           (mail-source-delete-old-incoming
578            mail-source-delete-incoming
579            mail-source-delete-old-incoming-confirm))))))
580
581 (defun mail-source-movemail (from to)
582   "Move FROM to TO using movemail."
583   (if (not (file-writable-p to))
584       (error "Can't write to crash box %s.  Not moving mail" to)
585     (let ((to (file-truename (expand-file-name to)))
586           errors result)
587       (setq to (file-truename to)
588             from (file-truename from))
589       ;; Set TO if have not already done so, and rename or copy
590       ;; the file FROM to TO if and as appropriate.
591       (cond
592        ((file-exists-p to)
593         ;; The crash box exists already.
594         t)
595        ((not (file-exists-p from))
596         ;; There is no inbox.
597         (setq to nil))
598        ((zerop (nth 7 (file-attributes from)))
599         ;; Empty file.
600         (setq to nil))
601        (t
602         ;; If getting from mail spool directory, use movemail to move
603         ;; rather than just renaming, so as to interlock with the
604         ;; mailer.
605         (unwind-protect
606             (save-excursion
607               (setq errors (generate-new-buffer " *mail source loss*"))
608               (let ((default-directory "/"))
609                 (setq result
610                       (apply
611                        'call-process
612                        (append
613                         (list
614                          (or mail-source-movemail-program
615                              (expand-file-name "movemail" exec-directory))
616                          nil errors nil from to)))))
617               (when (file-exists-p to)
618                 (set-file-modes to mail-source-default-file-modes))
619               (if (and (or (not (buffer-modified-p errors))
620                            (zerop (buffer-size errors)))
621                        (and (numberp result)
622                             (zerop result)))
623                   ;; No output => movemail won.
624                   t
625                 (set-buffer errors)
626                 ;; There may be a warning about older revisions.  We
627                 ;; ignore that.
628                 (goto-char (point-min))
629                 (if (search-forward "older revision" nil t)
630                     t
631                   ;; Probably a real error.
632                   (subst-char-in-region (point-min) (point-max) ?\n ?\  )
633                   (goto-char (point-max))
634                   (skip-chars-backward " \t")
635                   (delete-region (point) (point-max))
636                   (goto-char (point-min))
637                   (when (looking-at "movemail: ")
638                     (delete-region (point-min) (match-end 0)))
639                   ;; Result may be a signal description string.
640                   (unless (yes-or-no-p
641                            (format "movemail: %s (%s return).  Continue? "
642                                    (buffer-string) result))
643                     (error "%s" (buffer-string)))
644                   (setq to nil)))))))
645       (when (and errors
646                  (buffer-name errors))
647         (kill-buffer errors))
648       ;; Return whether we moved successfully or not.
649       to)))
650
651 (defun mail-source-movemail-and-remove (from to)
652   "Move FROM to TO using movemail, then remove FROM if empty."
653   (or (not (mail-source-movemail from to))
654       (not (zerop (nth 7 (file-attributes from))))
655       (delete-file from)))
656
657 (defun mail-source-fetch-with-program (program)
658   (eq 0 (call-process shell-file-name nil nil nil
659                       shell-command-switch program)))
660
661 (defun mail-source-run-script (script spec &optional delay)
662   (when script
663     (if (functionp script)
664         (funcall script)
665       (mail-source-call-script
666        (format-spec script spec))))
667   (when delay
668     (sleep-for delay)))
669
670 (defun mail-source-call-script (script)
671   (let ((background nil))
672     (when (string-match "& *$" script)
673       (setq script (substring script 0 (match-beginning 0))
674             background 0))
675     (call-process shell-file-name nil background nil
676                   shell-command-switch script)))
677
678 ;;;
679 ;;; Different fetchers
680 ;;;
681
682 (defun mail-source-fetch-file (source callback)
683   "Fetcher for single-file sources."
684   (mail-source-bind (file source)
685     (mail-source-run-script
686      prescript (format-spec-make ?t mail-source-crash-box)
687      prescript-delay)
688     (let ((mail-source-string (format "file:%s" path)))
689       (if (mail-source-movemail path mail-source-crash-box)
690           (prog1
691               (mail-source-callback callback path)
692             (mail-source-run-script
693              postscript (format-spec-make ?t mail-source-crash-box))
694             (mail-source-delete-crash-box))
695         0))))
696
697 (defun mail-source-fetch-directory (source callback)
698   "Fetcher for directory sources."
699   (mail-source-bind (directory source)
700     (mail-source-run-script
701      prescript (format-spec-make ?t path) prescript-delay)
702     (let ((found 0)
703           (mail-source-string (format "directory:%s" path)))
704       (dolist (file (directory-files
705                      path t (concat (regexp-quote suffix) "$")))
706         (when (and (file-regular-p file)
707                    (funcall predicate file)
708                    (mail-source-movemail file mail-source-crash-box))
709           (incf found (mail-source-callback callback file))
710           (mail-source-run-script postscript (format-spec-make ?t path))
711           (mail-source-delete-crash-box)))
712       found)))
713
714 (defun mail-source-fetch-pop (source callback)
715   "Fetcher for single-file sources."
716   (mail-source-bind (pop source)
717     (mail-source-run-script
718      prescript
719      (format-spec-make ?p password ?t mail-source-crash-box
720                        ?s server ?P port ?u user)
721      prescript-delay)
722     (let ((from (format "%s:%s:%s" server user port))
723           (mail-source-string (format "pop:%s@%s" user server))
724           result)
725       (when (eq authentication 'password)
726         (setq password
727               (or password
728                   (cdr (assoc from mail-source-password-cache))
729                   (read-passwd
730                    (format "Password for %s at %s: " user server)))))
731       (when server
732         (setenv "MAILHOST" server))
733       (setq result
734             (cond
735              (program
736               (mail-source-fetch-with-program
737                (format-spec
738                 program
739                 (format-spec-make ?p password ?t mail-source-crash-box
740                                   ?s server ?P port ?u user))))
741              (function
742               (funcall function mail-source-crash-box))
743              ;; The default is to use pop3.el.
744              (t
745               (let ((pop3-password password)
746                     (pop3-maildrop user)
747                     (pop3-mailhost server)
748                     (pop3-port port)
749                     (pop3-authentication-scheme
750                      (if (eq authentication 'apop) 'apop 'pass)))
751                 (if (or debug-on-quit debug-on-error)
752                     (save-excursion (pop3-movemail mail-source-crash-box))
753                   (condition-case err
754                       (save-excursion (pop3-movemail mail-source-crash-box))
755                     (error
756                      ;; We nix out the password in case the error
757                      ;; was because of a wrong password being given.
758                      (setq mail-source-password-cache
759                            (delq (assoc from mail-source-password-cache)
760                                  mail-source-password-cache))
761                      (signal (car err) (cdr err)))))))))
762       (if result
763           (progn
764             (when (eq authentication 'password)
765               (unless (assoc from mail-source-password-cache)
766                 (push (cons from password) mail-source-password-cache)))
767             (prog1
768                 (mail-source-callback callback server)
769               ;; Update display-time's mail flag, if relevant.
770               (if (equal source mail-source-primary-source)
771                   (setq mail-source-new-mail-available nil))
772               (mail-source-run-script
773                postscript
774                (format-spec-make ?p password ?t mail-source-crash-box
775                                  ?s server ?P port ?u user))
776               (mail-source-delete-crash-box)))
777         ;; We nix out the password in case the error
778         ;; was because of a wrong password being given.
779         (setq mail-source-password-cache
780               (delq (assoc from mail-source-password-cache)
781                     mail-source-password-cache))
782         0))))
783
784 (defun mail-source-check-pop (source)
785   "Check whether there is new mail."
786   (mail-source-bind (pop source)
787     (let ((from (format "%s:%s:%s" server user port))
788           (mail-source-string (format "pop:%s@%s" user server))
789           result)
790       (when (eq authentication 'password)
791         (setq password
792               (or password
793                   (cdr (assoc from mail-source-password-cache))
794                   (read-passwd
795                    (format "Password for %s at %s: " user server))))
796         (unless (assoc from mail-source-password-cache)
797           (push (cons from password) mail-source-password-cache)))
798       (when server
799         (setenv "MAILHOST" server))
800       (setq result
801             (cond
802              ;; No easy way to check whether mail is waiting for these.
803              (program)
804              (function)
805              ;; The default is to use pop3.el.
806              (t
807               (let ((pop3-password password)
808                     (pop3-maildrop user)
809                     (pop3-mailhost server)
810                     (pop3-port port)
811                     (pop3-authentication-scheme
812                      (if (eq authentication 'apop) 'apop 'pass)))
813                 (if (or debug-on-quit debug-on-error)
814                     (save-excursion (pop3-get-message-count))
815                   (condition-case err
816                       (save-excursion (pop3-get-message-count))
817                     (error
818                      ;; We nix out the password in case the error
819                      ;; was because of a wrong password being given.
820                      (setq mail-source-password-cache
821                            (delq (assoc from mail-source-password-cache)
822                                  mail-source-password-cache))
823                      (signal (car err) (cdr err)))))))))
824       (if result
825           ;; Inform display-time that we have new mail.
826           (setq mail-source-new-mail-available (> result 0))
827         ;; We nix out the password in case the error
828         ;; was because of a wrong password being given.
829         (setq mail-source-password-cache
830               (delq (assoc from mail-source-password-cache)
831                     mail-source-password-cache)))
832       result)))
833
834 (defun mail-source-touch-pop ()
835   "Open and close a POP connection shortly.
836 POP server should be defined in `mail-source-primary-source' (which is
837 preferred) or `mail-sources'.  You may use it for the POP-before-SMTP
838 authentication.  To do that, you need to set the
839 `message-send-mail-function' variable as `message-smtpmail-send-it'
840 and put the following line in your ~/.gnus.el file:
841
842 \(add-hook 'message-send-mail-hook 'mail-source-touch-pop)
843
844 See the Gnus manual for details."
845   (let ((sources (if mail-source-primary-source
846                      (list mail-source-primary-source)
847                    mail-sources)))
848     (while sources
849       (if (eq 'pop (car (car sources)))
850           (mail-source-check-pop (car sources)))
851       (setq sources (cdr sources)))))
852
853 (defun mail-source-new-mail-p ()
854   "Handler for `display-time' to indicate when new mail is available."
855   ;; Flash (ie. ring the visible bell) if mail is available.
856   (if (and mail-source-flash mail-source-new-mail-available)
857       (let ((visible-bell t))
858         (ding)))
859   ;; Only report flag setting; flag is updated on a different schedule.
860   mail-source-new-mail-available)
861
862
863 (defvar mail-source-report-new-mail nil)
864 (defvar mail-source-report-new-mail-timer nil)
865 (defvar mail-source-report-new-mail-idle-timer nil)
866
867 (eval-when-compile
868   (if (featurep 'xemacs)
869       (require 'timer-funcs)
870     (require 'timer)))
871
872 (defun mail-source-start-idle-timer ()
873   ;; Start our idle timer if necessary, so we delay the check until the
874   ;; user isn't typing.
875   (unless mail-source-report-new-mail-idle-timer
876     (setq mail-source-report-new-mail-idle-timer
877           (run-with-idle-timer
878            mail-source-idle-time-delay
879            nil
880            (lambda ()
881              (unwind-protect
882                  (mail-source-check-pop mail-source-primary-source)
883                (setq mail-source-report-new-mail-idle-timer nil)))))
884     ;; Since idle timers created when Emacs is already in the idle
885     ;; state don't get activated until Emacs _next_ becomes idle, we
886     ;; need to force our timer to be considered active now.  We do
887     ;; this by being naughty and poking the timer internals directly
888     ;; (element 0 of the vector is nil if the timer is active).
889     (aset mail-source-report-new-mail-idle-timer 0 nil)))
890
891 (defun mail-source-report-new-mail (arg)
892   "Toggle whether to report when new mail is available.
893 This only works when `display-time' is enabled."
894   (interactive "P")
895   (if (not mail-source-primary-source)
896       (error "Need to set `mail-source-primary-source' to check for new mail"))
897   (let ((on (if (null arg)
898                 (not mail-source-report-new-mail)
899               (> (prefix-numeric-value arg) 0))))
900     (setq mail-source-report-new-mail on)
901     (and mail-source-report-new-mail-timer
902          (nnheader-cancel-timer mail-source-report-new-mail-timer))
903     (and mail-source-report-new-mail-idle-timer
904          (nnheader-cancel-timer mail-source-report-new-mail-idle-timer))
905     (setq mail-source-report-new-mail-timer nil)
906     (setq mail-source-report-new-mail-idle-timer nil)
907     (if on
908         (progn
909           (require 'time)
910           ;; display-time-mail-function is an Emacs 21 feature.
911           (setq display-time-mail-function #'mail-source-new-mail-p)
912           ;; Set up the main timer.
913           (setq mail-source-report-new-mail-timer
914                 (run-at-time
915                  (* 60 mail-source-report-new-mail-interval)
916                  (* 60 mail-source-report-new-mail-interval)
917                  #'mail-source-start-idle-timer))
918           ;; When you get new mail, clear "Mail" from the mode line.
919           (add-hook 'nnmail-post-get-new-mail-hook
920                     'display-time-event-handler)
921           (message "Mail check enabled"))
922       (setq display-time-mail-function nil)
923       (remove-hook 'nnmail-post-get-new-mail-hook
924                    'display-time-event-handler)
925       (message "Mail check disabled"))))
926
927 (defun mail-source-fetch-maildir (source callback)
928   "Fetcher for maildir sources."
929   (mail-source-bind (maildir source)
930     (let ((found 0)
931           mail-source-string)
932       (unless (string-match "/$" path)
933         (setq path (concat path "/")))
934       (dolist (subdir subdirs)
935         (when (file-directory-p (concat path subdir))
936           (setq mail-source-string (format "maildir:%s%s" path subdir))
937           (dolist (file (directory-files (concat path subdir) t))
938             (when (and (not (file-directory-p file))
939                        (not (if function
940                                 (funcall function file mail-source-crash-box)
941                               (let ((coding-system-for-write
942                                      mm-text-coding-system)
943                                     (coding-system-for-read
944                                      mm-text-coding-system))
945                                 (with-temp-file mail-source-crash-box
946                                   (insert-file-contents file)
947                                   (goto-char (point-min))
948 ;;;                               ;; Unix mail format
949 ;;;                               (unless (looking-at "\n*From ")
950 ;;;                                 (insert "From maildir "
951 ;;;                                         (current-time-string) "\n"))
952 ;;;                               (while (re-search-forward "^From " nil t)
953 ;;;                                 (replace-match ">From "))
954 ;;;                               (goto-char (point-max))
955 ;;;                               (insert "\n\n")
956                                   ;; MMDF mail format
957                                   (insert "\001\001\001\001\n"))
958                                 (delete-file file)))))
959               (incf found (mail-source-callback callback file))
960               (mail-source-delete-crash-box)))))
961       found)))
962
963 (eval-and-compile
964   (autoload 'imap-open "imap")
965   (autoload 'imap-authenticate "imap")
966   (autoload 'imap-mailbox-select "imap")
967   (autoload 'imap-mailbox-unselect "imap")
968   (autoload 'imap-mailbox-close "imap")
969   (autoload 'imap-search "imap")
970   (autoload 'imap-fetch "imap")
971   (autoload 'imap-close "imap")
972   (autoload 'imap-error-text "imap")
973   (autoload 'imap-message-flags-add "imap")
974   (autoload 'imap-list-to-message-set "imap")
975   (autoload 'imap-range-to-message-set "imap")
976   (autoload 'nnheader-ms-strip-cr "nnheader"))
977
978 (defvar mail-source-imap-file-coding-system 'binary
979   "Coding system for the crashbox made by `mail-source-fetch-imap'.")
980
981 (defun mail-source-fetch-imap (source callback)
982   "Fetcher for imap sources."
983   (mail-source-bind (imap source)
984     (mail-source-run-script
985      prescript (format-spec-make ?p password ?t mail-source-crash-box
986                                  ?s server ?P port ?u user)
987      prescript-delay)
988     (let ((from (format "%s:%s:%s" server user port))
989           (found 0)
990           (buf (generate-new-buffer " *imap source*"))
991           (mail-source-string (format "imap:%s:%s" server mailbox))
992           (imap-shell-program (or (list program) imap-shell-program))
993           remove)
994       (if (and (imap-open server port stream authentication buf)
995                (imap-authenticate
996                 user (or (cdr (assoc from mail-source-password-cache))
997                          password) buf)
998                (imap-mailbox-select mailbox nil buf))
999           (let ((coding-system-for-write mail-source-imap-file-coding-system)
1000                 str)
1001             (with-temp-file mail-source-crash-box
1002               ;; Avoid converting 8-bit chars from inserted strings to
1003               ;; multibyte.
1004               (mm-disable-multibyte)
1005               ;; remember password
1006               (with-current-buffer buf
1007                 (when (and imap-password
1008                            (not (assoc from mail-source-password-cache)))
1009                   (push (cons from imap-password) mail-source-password-cache)))
1010               ;; if predicate is nil, use all uids
1011               (dolist (uid (imap-search (or predicate "1:*") buf))
1012                 (when (setq str
1013                             (if (imap-capability 'IMAP4rev1 buf)
1014                                 (caddar (imap-fetch uid "BODY.PEEK[]"
1015                                                     'BODYDETAIL nil buf))
1016                               (imap-fetch uid "RFC822.PEEK" 'RFC822 nil buf)))
1017                   (push uid remove)
1018                   (insert "From imap " (current-time-string) "\n")
1019                   (save-excursion
1020                     (insert str "\n\n"))
1021                   (while (let ((case-fold-search nil))
1022                            (re-search-forward "^From " nil t))
1023                     (replace-match ">From "))
1024                   (goto-char (point-max))))
1025               (nnheader-ms-strip-cr))
1026             (incf found (mail-source-callback callback server))
1027             (mail-source-delete-crash-box)
1028             (when (and remove fetchflag)
1029               (setq remove (nreverse remove))
1030               (imap-message-flags-add
1031                (imap-range-to-message-set (gnus-compress-sequence remove))
1032                fetchflag nil buf))
1033             (if dontexpunge
1034                 (imap-mailbox-unselect buf)
1035               (imap-mailbox-close nil buf))
1036             (imap-close buf))
1037         (imap-close buf)
1038         ;; We nix out the password in case the error
1039         ;; was because of a wrong password being given.
1040         (setq mail-source-password-cache
1041               (delq (assoc from mail-source-password-cache)
1042                     mail-source-password-cache))
1043         (error "IMAP error: %s" (imap-error-text buf)))
1044       (kill-buffer buf)
1045       (mail-source-run-script
1046        postscript
1047        (format-spec-make ?p password ?t mail-source-crash-box
1048                          ?s server ?P port ?u user))
1049       found)))
1050
1051 (eval-and-compile
1052   (autoload 'webmail-fetch "webmail"))
1053
1054 (defun mail-source-fetch-webmail (source callback)
1055   "Fetch for webmail source."
1056   (mail-source-bind (webmail source)
1057     (let ((mail-source-string (format "webmail:%s:%s" subtype user))
1058           (webmail-newmail-only dontexpunge)
1059           (webmail-move-to-trash-can (not dontexpunge)))
1060       (when (eq authentication 'password)
1061         (setq password
1062               (or password
1063                   (cdr (assoc (format "webmail:%s:%s" subtype user)
1064                               mail-source-password-cache))
1065                   (read-passwd
1066                    (format "Password for %s at %s: " user subtype))))
1067         (when (and password
1068                    (not (assoc (format "webmail:%s:%s" subtype user)
1069                                mail-source-password-cache)))
1070           (push (cons (format "webmail:%s:%s" subtype user) password)
1071                 mail-source-password-cache)))
1072       (webmail-fetch mail-source-crash-box subtype user password)
1073       (mail-source-callback callback (symbol-name subtype))
1074       (mail-source-delete-crash-box))))
1075
1076 (provide 'mail-source)
1077
1078 ;;; arch-tag: 72948025-1d17-4d6c-bb12-ef1aa2c490fd
1079 ;;; mail-source.el ends here