* gnus-sum.el (gnus-article-sort-by-date-reverse): Remove,
[gnus] / lisp / mail-source.el
1 ;;; mail-source.el --- functions for fetching mail
2
3 ;; Copyright (C) 1999, 2000, 2001, 2002, 2003, 2004,
4 ;;   2005 Free Software Foundation, Inc.
5
6 ;; Author: Lars Magne Ingebrigtsen <larsi@gnus.org>
7 ;; Keywords: news, mail
8
9 ;; This file is part of GNU Emacs.
10
11 ;; GNU Emacs is free software; you can redistribute it and/or modify
12 ;; it under the terms of the GNU General Public License as published by
13 ;; the Free Software Foundation; either version 2, or (at your option)
14 ;; any later version.
15
16 ;; GNU Emacs is distributed in the hope that it will be useful,
17 ;; but WITHOUT ANY WARRANTY; without even the implied warranty of
18 ;; MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
19 ;; GNU General Public License for more details.
20
21 ;; You should have received a copy of the GNU General Public License
22 ;; along with GNU Emacs; see the file COPYING.  If not, write to the
23 ;; Free Software Foundation, Inc., 51 Franklin Street, Fifth Floor,
24 ;; Boston, MA 02110-1301, USA.
25
26 ;;; Commentary:
27
28 ;;; Code:
29
30 (eval-when-compile
31   (require 'cl)
32   (require 'imap)
33   (eval-when-compile (defvar display-time-mail-function)))
34 (eval-and-compile
35   (autoload 'pop3-movemail "pop3")
36   (autoload 'pop3-get-message-count "pop3")
37   (autoload 'nnheader-cancel-timer "nnheader"))
38 (require 'format-spec)
39 (require 'mm-util)
40 (require 'message) ;; for `message-directory'
41
42 (defgroup mail-source nil
43   "The mail-fetching library."
44   :version "21.1"
45   :group 'gnus)
46
47 ;; Define these at compile time to avoid dragging in imap always.
48 (defconst mail-source-imap-authenticators
49   (eval-when-compile
50     (mapcar (lambda (a)
51               (list 'const (car a)))
52      imap-authenticator-alist)))
53 (defconst mail-source-imap-streams
54   (eval-when-compile
55     (mapcar (lambda (a)
56               (list 'const (car a)))
57      imap-stream-alist)))
58
59 (defcustom mail-sources nil
60   "*Where the mail backends will look for incoming mail.
61 This variable is a list of mail source specifiers.
62 See Info node `(gnus)Mail Source Specifiers'."
63   :group 'mail-source
64   :link '(custom-manual "(gnus)Mail Source Specifiers")
65   :type `(repeat
66           (choice :format "%[Value Menu%] %v"
67                   :value (file)
68                   (cons :tag "Spool file"
69                         (const :format "" file)
70                         (checklist :tag "Options" :greedy t
71                                    (group :inline t
72                                           (const :format "" :value :path)
73                                           file)))
74                   (cons :tag "Several files in a directory"
75                         (const :format "" directory)
76                         (checklist :tag "Options" :greedy t
77                                    (group :inline t
78                                           (const :format "" :value :path)
79                                           (directory :tag "Path"))
80                                    (group :inline t
81                                           (const :format "" :value :suffix)
82                                           (string :tag "Suffix"))
83                                    (group :inline t
84                                           (const :format "" :value :predicate)
85                                           (function :tag "Predicate"))
86                                    (group :inline t
87                                           (const :format "" :value :prescript)
88                                           (choice :tag "Prescript"
89                                                   :value nil
90                                                   (string :format "%v")
91                                                   (function :format "%v")))
92                                    (group :inline t
93                                           (const :format "" :value :postscript)
94                                           (choice :tag "Postscript"
95                                                   :value nil
96                                                   (string :format "%v")
97                                                   (function :format "%v")))
98                                    (group :inline t
99                                           (const :format "" :value :plugged)
100                                           (boolean :tag "Plugged"))))
101                   (cons :tag "POP3 server"
102                         (const :format "" pop)
103                         (checklist :tag "Options" :greedy t
104                                    (group :inline t
105                                           (const :format "" :value :server)
106                                           (string :tag "Server"))
107                                    (group :inline t
108                                           (const :format "" :value :port)
109                                           (choice :tag "Port"
110                                                   :value "pop3"
111                                                   (number :format "%v")
112                                                   (string :format "%v")))
113                                    (group :inline t
114                                           (const :format "" :value :user)
115                                           (string :tag "User"))
116                                    (group :inline t
117                                           (const :format "" :value :password)
118                                           (string :tag "Password"))
119                                    (group :inline t
120                                           (const :format "" :value :program)
121                                           (string :tag "Program"))
122                                    (group :inline t
123                                           (const :format "" :value :prescript)
124                                           (choice :tag "Prescript"
125                                                   :value nil
126                                                   (string :format "%v")
127                                                   (function :format "%v")))
128                                    (group :inline t
129                                           (const :format "" :value :postscript)
130                                           (choice :tag "Postscript"
131                                                   :value nil
132                                                   (string :format "%v")
133                                                   (function :format "%v")))
134                                    (group :inline t
135                                           (const :format "" :value :function)
136                                           (function :tag "Function"))
137                                    (group :inline t
138                                           (const :format ""
139                                                  :value :authentication)
140                                           (choice :tag "Authentication"
141                                                   :value apop
142                                                   (const password)
143                                                   (const apop)))
144                                    (group :inline t
145                                           (const :format "" :value :plugged)
146                                           (boolean :tag "Plugged"))))
147                   (cons :tag "Maildir (qmail, postfix...)"
148                         (const :format "" maildir)
149                         (checklist :tag "Options" :greedy t
150                                    (group :inline t
151                                           (const :format "" :value :path)
152                                           (directory :tag "Path"))
153                                    (group :inline t
154                                           (const :format "" :value :plugged)
155                                           (boolean :tag "Plugged"))))
156                   (cons :tag "IMAP server"
157                         (const :format "" imap)
158                         (checklist :tag "Options" :greedy t
159                                    (group :inline t
160                                           (const :format "" :value :server)
161                                           (string :tag "Server"))
162                                    (group :inline t
163                                           (const :format "" :value :port)
164                                           (choice :tag "Port"
165                                                   :value 143
166                                                   number string))
167                                    (group :inline t
168                                           (const :format "" :value :user)
169                                           (string :tag "User"))
170                                    (group :inline t
171                                           (const :format "" :value :password)
172                                           (string :tag "Password"))
173                                    (group :inline t
174                                           (const :format "" :value :stream)
175                                           (choice :tag "Stream"
176                                                   :value network
177                                                   ,@mail-source-imap-streams))
178                                    (group :inline t
179                                           (const :format "" :value :program)
180                                           (string :tag "Program"))
181                                    (group :inline t
182                                           (const :format ""
183                                                  :value :authenticator)
184                                           (choice :tag "Authenticator"
185                                                   :value login
186                                                   ,@mail-source-imap-authenticators))
187                                    (group :inline t
188                                           (const :format "" :value :mailbox)
189                                           (string :tag "Mailbox"
190                                                   :value "INBOX"))
191                                    (group :inline t
192                                           (const :format "" :value :predicate)
193                                           (string :tag "Predicate"
194                                                   :value "UNSEEN UNDELETED"))
195                                    (group :inline t
196                                           (const :format "" :value :fetchflag)
197                                           (string :tag "Fetchflag"
198                                                   :value  "\\Deleted"))
199                                    (group :inline t
200                                           (const :format ""
201                                                  :value :dontexpunge)
202                                           (boolean :tag "Dontexpunge"))
203                                    (group :inline t
204                                           (const :format "" :value :plugged)
205                                           (boolean :tag "Plugged"))))
206                   (cons :tag "Webmail server"
207                         (const :format "" webmail)
208                         (checklist :tag "Options" :greedy t
209                                    (group :inline t
210                                          (const :format "" :value :subtype)
211                                          ;; Should be generated from
212                                          ;; `webmail-type-definition', but we
213                                          ;; can't require webmail without W3.
214                                          (choice :tag "Subtype"
215                                                  :value hotmail
216                                                  (const hotmail)
217                                                  (const yahoo)
218                                                  (const netaddress)
219                                                  (const netscape)
220                                                  (const my-deja)))
221                                    (group :inline t
222                                           (const :format "" :value :user)
223                                           (string :tag "User"))
224                                    (group :inline t
225                                           (const :format "" :value :password)
226                                           (string :tag "Password"))
227                                    (group :inline t
228                                           (const :format ""
229                                                  :value :dontexpunge)
230                                           (boolean :tag "Dontexpunge"))
231                                    (group :inline t
232                                           (const :format "" :value :plugged)
233                                           (boolean :tag "Plugged")))))))
234
235 (defcustom mail-source-ignore-errors nil
236   "*Ignore errors when querying mail sources.
237 If nil, the user will be prompted when an error occurs.  If non-nil,
238 the error will be ignored."
239   :version "22.1"
240   :group 'mail-source
241   :type 'boolean)
242
243 (defcustom mail-source-primary-source nil
244   "*Primary source for incoming mail.
245 If non-nil, this maildrop will be checked periodically for new mail."
246   :group 'mail-source
247   :type 'sexp)
248
249 (defcustom mail-source-flash t
250   "*If non-nil, flash periodically when mail is available."
251   :group 'mail-source
252   :type 'boolean)
253
254 (defcustom mail-source-crash-box "~/.emacs-mail-crash-box"
255   "File where mail will be stored while processing it."
256   :group 'mail-source
257   :type 'file)
258
259 (defcustom mail-source-directory message-directory
260   "Directory where incoming mail source files (if any) will be stored."
261   :group 'mail-source
262   :type 'directory)
263
264 (defcustom mail-source-default-file-modes 384
265   "Set the mode bits of all new mail files to this integer."
266   :group 'mail-source
267   :type 'integer)
268
269 (defcustom mail-source-delete-incoming nil
270   "*If non-nil, delete incoming files after handling.
271 If t, delete immediately, if nil, never delete.  If a positive number, delete
272 files older than number of days."
273   ;; Note: The removing happens in `mail-source-callback', i.e. no old
274   ;; incoming files will be deleted, unless you receive new mail.
275   ;;
276   ;; You may also set this to `nil' and call `mail-source-delete-old-incoming'
277   ;; from a hook or interactively.
278   :group 'mail-source
279   :type '(choice (const :tag "immediately" t)
280                  (const :tag "never" nil)
281                  (integer :tag "days")))
282
283 (defcustom mail-source-delete-old-incoming-confirm t
284   "*If non-nil, ask for for confirmation before deleting old incoming files.
285 This variable only applies when `mail-source-delete-incoming' is a positive
286 number."
287   :version "22.1"
288   :group 'mail-source
289   :type 'boolean)
290
291 (defcustom mail-source-incoming-file-prefix "Incoming"
292   "Prefix for file name for storing incoming mail"
293   :group 'mail-source
294   :type 'string)
295
296 (defcustom mail-source-report-new-mail-interval 5
297   "Interval in minutes between checks for new mail."
298   :group 'mail-source
299   :type 'number)
300
301 (defcustom mail-source-idle-time-delay 5
302   "Number of idle seconds to wait before checking for new mail."
303   :group 'mail-source
304   :type 'number)
305
306 (defcustom mail-source-movemail-program nil
307   "If non-nil, name of program for fetching new mail."
308   :version "22.1"
309   :group 'mail-source
310   :type '(choice (const nil) string))
311
312 ;;; Internal variables.
313
314 (defvar mail-source-string ""
315   "A dynamically bound string that says what the current mail source is.")
316
317 (defvar mail-source-new-mail-available nil
318   "Flag indicating when new mail is available.")
319
320 (eval-and-compile
321   (defvar mail-source-common-keyword-map
322     '((:plugged))
323     "Mapping from keywords to default values.
324 Common keywords should be listed here.")
325
326   (defvar mail-source-keyword-map
327     '((file
328        (:prescript)
329        (:prescript-delay)
330        (:postscript)
331        (:path (or (getenv "MAIL")
332                   (expand-file-name (user-login-name) rmail-spool-directory))))
333       (directory
334        (:prescript)
335        (:prescript-delay)
336        (:postscript)
337        (:path)
338        (:suffix ".spool")
339        (:predicate identity))
340       (pop
341        (:prescript)
342        (:prescript-delay)
343        (:postscript)
344        (:server (getenv "MAILHOST"))
345        (:port 110)
346        (:user (or (user-login-name) (getenv "LOGNAME") (getenv "USER")))
347        (:program)
348        (:function)
349        (:password)
350        (:authentication password))
351       (maildir
352        (:path (or (getenv "MAILDIR") "~/Maildir/"))
353        (:subdirs ("cur" "new"))
354        (:function))
355       (imap
356        (:server (getenv "MAILHOST"))
357        (:port)
358        (:stream)
359        (:program)
360        (:authentication)
361        (:user (or (user-login-name) (getenv "LOGNAME") (getenv "USER")))
362        (:password)
363        (:mailbox "INBOX")
364        (:predicate "UNSEEN UNDELETED")
365        (:fetchflag "\\Deleted")
366        (:prescript)
367        (:prescript-delay)
368        (:postscript)
369        (:dontexpunge))
370       (webmail
371        (:subtype hotmail)
372        (:user (or (user-login-name) (getenv "LOGNAME") (getenv "USER")))
373        (:password)
374        (:dontexpunge)
375        (:authentication password)))
376     "Mapping from keywords to default values.
377 All keywords that can be used must be listed here."))
378
379 (defvar mail-source-fetcher-alist
380   '((file mail-source-fetch-file)
381     (directory mail-source-fetch-directory)
382     (pop mail-source-fetch-pop)
383     (maildir mail-source-fetch-maildir)
384     (imap mail-source-fetch-imap)
385     (webmail mail-source-fetch-webmail))
386   "A mapping from source type to fetcher function.")
387
388 (defvar mail-source-password-cache nil)
389
390 (defvar mail-source-plugged t)
391
392 ;;; Functions
393
394 (eval-and-compile
395   (defun mail-source-strip-keyword (keyword)
396     "Strip the leading colon off the KEYWORD."
397     (intern (substring (symbol-name keyword) 1))))
398
399 (eval-and-compile
400   (defun mail-source-bind-1 (type)
401     (let* ((defaults (cdr (assq type mail-source-keyword-map)))
402            default bind)
403       (while (setq default (pop defaults))
404         (push (list (mail-source-strip-keyword (car default))
405                     nil)
406               bind))
407       bind)))
408
409 (defmacro mail-source-bind (type-source &rest body)
410   "Return a `let' form that binds all variables in source TYPE.
411 TYPE-SOURCE is a list where the first element is the TYPE, and
412 the second variable is the SOURCE.
413 At run time, the mail source specifier SOURCE will be inspected,
414 and the variables will be set according to it.  Variables not
415 specified will be given default values.
416
417 After this is done, BODY will be executed in the scope
418 of the `let' form.
419
420 The variables bound and their default values are described by
421 the `mail-source-keyword-map' variable."
422   `(let ,(mail-source-bind-1 (car type-source))
423      (mail-source-set-1 ,(cadr type-source))
424      ,@body))
425
426 (put 'mail-source-bind 'lisp-indent-function 1)
427 (put 'mail-source-bind 'edebug-form-spec '(sexp body))
428
429 (defun mail-source-set-1 (source)
430   (let* ((type (pop source))
431          (defaults (cdr (assq type mail-source-keyword-map)))
432          default value keyword)
433     (while (setq default (pop defaults))
434       (set (mail-source-strip-keyword (setq keyword (car default)))
435            (if (setq value (plist-get source keyword))
436                (mail-source-value value)
437              (mail-source-value (cadr default)))))))
438
439 (eval-and-compile
440   (defun mail-source-bind-common-1 ()
441     (let* ((defaults mail-source-common-keyword-map)
442            default bind)
443       (while (setq default (pop defaults))
444         (push (list (mail-source-strip-keyword (car default))
445                     nil)
446               bind))
447       bind)))
448
449 (defun mail-source-set-common-1 (source)
450   (let* ((type (pop source))
451          (defaults mail-source-common-keyword-map)
452          (defaults-1 (cdr (assq type mail-source-keyword-map)))
453          default value keyword)
454     (while (setq default (pop defaults))
455       (set (mail-source-strip-keyword (setq keyword (car default)))
456            (if (setq value (plist-get source keyword))
457                (mail-source-value value)
458              (if (setq value (assq  keyword defaults-1))
459                  (mail-source-value (cadr value))
460                (mail-source-value (cadr default))))))))
461
462 (defmacro mail-source-bind-common (source &rest body)
463   "Return a `let' form that binds all common variables.
464 See `mail-source-bind'."
465   `(let ,(mail-source-bind-common-1)
466      (mail-source-set-common-1 source)
467      ,@body))
468
469 (put 'mail-source-bind-common 'lisp-indent-function 1)
470 (put 'mail-source-bind-common 'edebug-form-spec '(sexp body))
471
472 (defun mail-source-value (value)
473   "Return the value of VALUE."
474   (cond
475    ;; String
476    ((stringp value)
477     value)
478    ;; Function
479    ((and (listp value)
480          (functionp (car value)))
481     (eval value))
482    ;; Just return the value.
483    (t
484     value)))
485
486 (defun mail-source-fetch (source callback)
487   "Fetch mail from SOURCE and call CALLBACK zero or more times.
488 CALLBACK will be called with the name of the file where (some of)
489 the mail from SOURCE is put.
490 Return the number of files that were found."
491   (mail-source-bind-common source
492     (if (or mail-source-plugged plugged)
493         (save-excursion
494           (let ((function (cadr (assq (car source) mail-source-fetcher-alist)))
495                 (found 0))
496             (unless function
497               (error "%S is an invalid mail source specification" source))
498             ;; If there's anything in the crash box, we do it first.
499             (when (file-exists-p mail-source-crash-box)
500               (message "Processing mail from %s..." mail-source-crash-box)
501               (setq found (mail-source-callback
502                            callback mail-source-crash-box))
503               (mail-source-delete-crash-box))
504             (+ found
505                (if (or debug-on-quit debug-on-error)
506                    (funcall function source callback)
507                  (condition-case err
508                      (funcall function source callback)
509                    (error
510                     (if (and (not mail-source-ignore-errors)
511                              (not
512                               (yes-or-no-p
513                                (format "Mail source %s error (%s).  Continue? "
514                                        (if (memq ':password source)
515                                            (let ((s (copy-sequence source)))
516                                              (setcar (cdr (memq ':password s))
517                                                      "********")
518                                              s)
519                                          source)
520                                        (cadr err)))))
521                       (error "Cannot get new mail"))
522                     0)))))))))
523
524 (defun mail-source-delete-old-incoming (&optional age confirm)
525   "Remove incoming files older than AGE days.
526 If CONFIRM is non-nil, ask for confirmation before removing a file."
527   (interactive "P")
528   (let* ((high2days (/ 65536.0 60 60 24));; convert high bits to days
529          (low2days  (/ 1.0 65536.0))     ;; convert low bits to days
530          (diff (if (natnump age) age 30));; fallback, if no valid AGE given
531          currday files)
532     (setq files (directory-files
533                  mail-source-directory t
534                  (concat mail-source-incoming-file-prefix "*"))
535           currday (* (car (current-time)) high2days)
536           currday (+ currday (* low2days (nth 1 (current-time)))))
537     (while files
538       (let* ((ffile (car files))
539              (bfile (gnus-replace-in-string
540                      ffile "\\`.*/\\([^/]+\\)\\'" "\\1"))
541              (filetime (nth 5 (file-attributes ffile)))
542              (fileday (* (car filetime) high2days))
543              (fileday (+ fileday (* low2days (nth 1 filetime)))))
544         (setq files (cdr files))
545         (when (and (> (- currday fileday) diff)
546                    (gnus-message 8 "File `%s' is older than %s day(s)"
547                                  bfile diff)
548                    (or (not confirm)
549                        (y-or-n-p (concat "Remove file `" bfile "'? "))))
550           (delete-file ffile))))))
551
552 (defun mail-source-callback (callback info)
553   "Call CALLBACK on the mail file.  Pass INFO on to CALLBACK."
554   (if (or (not (file-exists-p mail-source-crash-box))
555           (zerop (nth 7 (file-attributes mail-source-crash-box))))
556       (progn
557         (when (file-exists-p mail-source-crash-box)
558           (delete-file mail-source-crash-box))
559         0)
560     (funcall callback mail-source-crash-box info)))
561
562 (defun mail-source-delete-crash-box ()
563   (when (file-exists-p mail-source-crash-box)
564     ;; Delete or move the incoming mail out of the way.
565     (if (eq mail-source-delete-incoming t)
566         (delete-file mail-source-crash-box)
567       (let ((incoming
568              (mm-make-temp-file
569               (expand-file-name
570                mail-source-incoming-file-prefix
571                mail-source-directory))))
572         (unless (file-exists-p (file-name-directory incoming))
573           (make-directory (file-name-directory incoming) t))
574         (rename-file mail-source-crash-box incoming t)
575         ;; remove old incoming files?
576         (when (natnump mail-source-delete-incoming)
577           (mail-source-delete-old-incoming
578            mail-source-delete-incoming
579            mail-source-delete-old-incoming-confirm))))))
580
581 (defun mail-source-movemail (from to)
582   "Move FROM to TO using movemail."
583   (if (not (file-writable-p to))
584       (error "Can't write to crash box %s.  Not moving mail" to)
585     (let ((to (file-truename (expand-file-name to)))
586           errors result)
587       (setq to (file-truename to)
588             from (file-truename from))
589       ;; Set TO if have not already done so, and rename or copy
590       ;; the file FROM to TO if and as appropriate.
591       (cond
592        ((file-exists-p to)
593         ;; The crash box exists already.
594         t)
595        ((not (file-exists-p from))
596         ;; There is no inbox.
597         (setq to nil))
598        ((zerop (nth 7 (file-attributes from)))
599         ;; Empty file.
600         (setq to nil))
601        (t
602         ;; If getting from mail spool directory, use movemail to move
603         ;; rather than just renaming, so as to interlock with the
604         ;; mailer.
605         (unwind-protect
606             (save-excursion
607               (setq errors (generate-new-buffer " *mail source loss*"))
608               (let ((default-directory "/"))
609                 (setq result
610                       (apply
611                        'call-process
612                        (append
613                         (list
614                          (or mail-source-movemail-program
615                              (expand-file-name "movemail" exec-directory))
616                          nil errors nil from to)))))
617               (when (file-exists-p to)
618                 (set-file-modes to mail-source-default-file-modes))
619               (if (and (or (not (buffer-modified-p errors))
620                            (zerop (buffer-size errors)))
621                        (and (numberp result)
622                             (zerop result)))
623                   ;; No output => movemail won.
624                   t
625                 (set-buffer errors)
626                 ;; There may be a warning about older revisions.  We
627                 ;; ignore that.
628                 (goto-char (point-min))
629                 (if (search-forward "older revision" nil t)
630                     t
631                   ;; Probably a real error.
632                   (subst-char-in-region (point-min) (point-max) ?\n ?\  )
633                   (goto-char (point-max))
634                   (skip-chars-backward " \t")
635                   (delete-region (point) (point-max))
636                   (goto-char (point-min))
637                   (when (looking-at "movemail: ")
638                     (delete-region (point-min) (match-end 0)))
639                   ;; Result may be a signal description string.
640                   (unless (yes-or-no-p
641                            (format "movemail: %s (%s return).  Continue? "
642                                    (buffer-string) result))
643                     (error "%s" (buffer-string)))
644                   (setq to nil)))))))
645       (when (and errors
646                  (buffer-name errors))
647         (kill-buffer errors))
648       ;; Return whether we moved successfully or not.
649       to)))
650
651 (defun mail-source-movemail-and-remove (from to)
652   "Move FROM to TO using movemail, then remove FROM if empty."
653   (or (not (mail-source-movemail from to))
654       (not (zerop (nth 7 (file-attributes from))))
655       (delete-file from)))
656
657 (defun mail-source-fetch-with-program (program)
658   (eq 0 (call-process shell-file-name nil nil nil
659                       shell-command-switch program)))
660
661 (defun mail-source-run-script (script spec &optional delay)
662   (when script
663     (if (functionp script)
664         (funcall script)
665       (mail-source-call-script
666        (format-spec script spec))))
667   (when delay
668     (sleep-for delay)))
669
670 (defun mail-source-call-script (script)
671   (let ((background nil))
672     (when (string-match "& *$" script)
673       (setq script (substring script 0 (match-beginning 0))
674             background 0))
675     (call-process shell-file-name nil background nil
676                   shell-command-switch script)))
677
678 ;;;
679 ;;; Different fetchers
680 ;;;
681
682 (defun mail-source-fetch-file (source callback)
683   "Fetcher for single-file sources."
684   (mail-source-bind (file source)
685     (mail-source-run-script
686      prescript (format-spec-make ?t mail-source-crash-box)
687      prescript-delay)
688     (let ((mail-source-string (format "file:%s" path)))
689       (if (mail-source-movemail path mail-source-crash-box)
690           (prog1
691               (mail-source-callback callback path)
692             (mail-source-run-script
693              postscript (format-spec-make ?t mail-source-crash-box))
694             (mail-source-delete-crash-box))
695         0))))
696
697 (defun mail-source-fetch-directory (source callback)
698   "Fetcher for directory sources."
699   (mail-source-bind (directory source)
700     (mail-source-run-script
701      prescript (format-spec-make ?t path) prescript-delay)
702     (let ((found 0)
703           (mail-source-string (format "directory:%s" path)))
704       (dolist (file (directory-files
705                      path t (concat (regexp-quote suffix) "$")))
706         (when (and (file-regular-p file)
707                    (funcall predicate file)
708                    (mail-source-movemail file mail-source-crash-box))
709           (incf found (mail-source-callback callback file))
710           (mail-source-run-script postscript (format-spec-make ?t path))
711           (mail-source-delete-crash-box)))
712       found)))
713
714 (defun mail-source-fetch-pop (source callback)
715   "Fetcher for single-file sources."
716   (mail-source-bind (pop source)
717     (mail-source-run-script
718      prescript
719      (format-spec-make ?p password ?t mail-source-crash-box
720                        ?s server ?P port ?u user)
721      prescript-delay)
722     (let ((from (format "%s:%s:%s" server user port))
723           (mail-source-string (format "pop:%s@%s" user server))
724           result)
725       (when (eq authentication 'password)
726         (setq password
727               (or password
728                   (cdr (assoc from mail-source-password-cache))
729                   (read-passwd
730                    (format "Password for %s at %s: " user server)))))
731       (when server
732         (setenv "MAILHOST" server))
733       (setq result
734             (cond
735              (program
736               (mail-source-fetch-with-program
737                (format-spec
738                 program
739                 (format-spec-make ?p password ?t mail-source-crash-box
740                                   ?s server ?P port ?u user))))
741              (function
742               (funcall function mail-source-crash-box))
743              ;; The default is to use pop3.el.
744              (t
745               (require 'pop3)
746               (let ((pop3-password password)
747                     (pop3-maildrop user)
748                     (pop3-mailhost server)
749                     (pop3-port port)
750                     (pop3-authentication-scheme
751                      (if (eq authentication 'apop) 'apop 'pass)))
752                 (if (or debug-on-quit debug-on-error)
753                     (save-excursion (pop3-movemail mail-source-crash-box))
754                   (condition-case err
755                       (save-excursion (pop3-movemail mail-source-crash-box))
756                     (error
757                      ;; We nix out the password in case the error
758                      ;; was because of a wrong password being given.
759                      (setq mail-source-password-cache
760                            (delq (assoc from mail-source-password-cache)
761                                  mail-source-password-cache))
762                      (signal (car err) (cdr err)))))))))
763       (if result
764           (progn
765             (when (eq authentication 'password)
766               (unless (assoc from mail-source-password-cache)
767                 (push (cons from password) mail-source-password-cache)))
768             (prog1
769                 (mail-source-callback callback server)
770               ;; Update display-time's mail flag, if relevant.
771               (if (equal source mail-source-primary-source)
772                   (setq mail-source-new-mail-available nil))
773               (mail-source-run-script
774                postscript
775                (format-spec-make ?p password ?t mail-source-crash-box
776                                  ?s server ?P port ?u user))
777               (mail-source-delete-crash-box)))
778         ;; We nix out the password in case the error
779         ;; was because of a wrong password being given.
780         (setq mail-source-password-cache
781               (delq (assoc from mail-source-password-cache)
782                     mail-source-password-cache))
783         0))))
784
785 (defun mail-source-check-pop (source)
786   "Check whether there is new mail."
787   (mail-source-bind (pop source)
788     (let ((from (format "%s:%s:%s" server user port))
789           (mail-source-string (format "pop:%s@%s" user server))
790           result)
791       (when (eq authentication 'password)
792         (setq password
793               (or password
794                   (cdr (assoc from mail-source-password-cache))
795                   (read-passwd
796                    (format "Password for %s at %s: " user server))))
797         (unless (assoc from mail-source-password-cache)
798           (push (cons from password) mail-source-password-cache)))
799       (when server
800         (setenv "MAILHOST" server))
801       (setq result
802             (cond
803              ;; No easy way to check whether mail is waiting for these.
804              (program)
805              (function)
806              ;; The default is to use pop3.el.
807              (t
808               (require 'pop3)
809               (let ((pop3-password password)
810                     (pop3-maildrop user)
811                     (pop3-mailhost server)
812                     (pop3-port port)
813                     (pop3-authentication-scheme
814                      (if (eq authentication 'apop) 'apop 'pass)))
815                 (if (or debug-on-quit debug-on-error)
816                     (save-excursion (pop3-get-message-count))
817                   (condition-case err
818                       (save-excursion (pop3-get-message-count))
819                     (error
820                      ;; We nix out the password in case the error
821                      ;; was because of a wrong password being given.
822                      (setq mail-source-password-cache
823                            (delq (assoc from mail-source-password-cache)
824                                  mail-source-password-cache))
825                      (signal (car err) (cdr err)))))))))
826       (if result
827           ;; Inform display-time that we have new mail.
828           (setq mail-source-new-mail-available (> result 0))
829         ;; We nix out the password in case the error
830         ;; was because of a wrong password being given.
831         (setq mail-source-password-cache
832               (delq (assoc from mail-source-password-cache)
833                     mail-source-password-cache)))
834       result)))
835
836 (defun mail-source-touch-pop ()
837   "Open and close a POP connection shortly.
838 POP server should be defined in `mail-source-primary-source' (which is
839 preferred) or `mail-sources'.  You may use it for the POP-before-SMTP
840 authentication.  To do that, you need to set the
841 `message-send-mail-function' variable as `message-smtpmail-send-it'
842 and put the following line in your ~/.gnus.el file:
843
844 \(add-hook 'message-send-mail-hook 'mail-source-touch-pop)
845
846 See the Gnus manual for details."
847   (let ((sources (if mail-source-primary-source
848                      (list mail-source-primary-source)
849                    mail-sources)))
850     (while sources
851       (if (eq 'pop (car (car sources)))
852           (mail-source-check-pop (car sources)))
853       (setq sources (cdr sources)))))
854
855 (defun mail-source-new-mail-p ()
856   "Handler for `display-time' to indicate when new mail is available."
857   ;; Flash (ie. ring the visible bell) if mail is available.
858   (if (and mail-source-flash mail-source-new-mail-available)
859       (let ((visible-bell t))
860         (ding)))
861   ;; Only report flag setting; flag is updated on a different schedule.
862   mail-source-new-mail-available)
863
864
865 (defvar mail-source-report-new-mail nil)
866 (defvar mail-source-report-new-mail-timer nil)
867 (defvar mail-source-report-new-mail-idle-timer nil)
868
869 (eval-when-compile
870   (if (featurep 'xemacs)
871       (require 'timer-funcs)
872     (require 'timer)))
873
874 (defun mail-source-start-idle-timer ()
875   ;; Start our idle timer if necessary, so we delay the check until the
876   ;; user isn't typing.
877   (unless mail-source-report-new-mail-idle-timer
878     (setq mail-source-report-new-mail-idle-timer
879           (run-with-idle-timer
880            mail-source-idle-time-delay
881            nil
882            (lambda ()
883              (unwind-protect
884                  (mail-source-check-pop mail-source-primary-source)
885                (setq mail-source-report-new-mail-idle-timer nil)))))
886     ;; Since idle timers created when Emacs is already in the idle
887     ;; state don't get activated until Emacs _next_ becomes idle, we
888     ;; need to force our timer to be considered active now.  We do
889     ;; this by being naughty and poking the timer internals directly
890     ;; (element 0 of the vector is nil if the timer is active).
891     (aset mail-source-report-new-mail-idle-timer 0 nil)))
892
893 (defun mail-source-report-new-mail (arg)
894   "Toggle whether to report when new mail is available.
895 This only works when `display-time' is enabled."
896   (interactive "P")
897   (if (not mail-source-primary-source)
898       (error "Need to set `mail-source-primary-source' to check for new mail"))
899   (let ((on (if (null arg)
900                 (not mail-source-report-new-mail)
901               (> (prefix-numeric-value arg) 0))))
902     (setq mail-source-report-new-mail on)
903     (and mail-source-report-new-mail-timer
904          (nnheader-cancel-timer mail-source-report-new-mail-timer))
905     (and mail-source-report-new-mail-idle-timer
906          (nnheader-cancel-timer mail-source-report-new-mail-idle-timer))
907     (setq mail-source-report-new-mail-timer nil)
908     (setq mail-source-report-new-mail-idle-timer nil)
909     (if on
910         (progn
911           (require 'time)
912           ;; display-time-mail-function is an Emacs 21 feature.
913           (setq display-time-mail-function #'mail-source-new-mail-p)
914           ;; Set up the main timer.
915           (setq mail-source-report-new-mail-timer
916                 (run-at-time
917                  (* 60 mail-source-report-new-mail-interval)
918                  (* 60 mail-source-report-new-mail-interval)
919                  #'mail-source-start-idle-timer))
920           ;; When you get new mail, clear "Mail" from the mode line.
921           (add-hook 'nnmail-post-get-new-mail-hook
922                     'display-time-event-handler)
923           (message "Mail check enabled"))
924       (setq display-time-mail-function nil)
925       (remove-hook 'nnmail-post-get-new-mail-hook
926                    'display-time-event-handler)
927       (message "Mail check disabled"))))
928
929 (defun mail-source-fetch-maildir (source callback)
930   "Fetcher for maildir sources."
931   (mail-source-bind (maildir source)
932     (let ((found 0)
933           mail-source-string)
934       (unless (string-match "/$" path)
935         (setq path (concat path "/")))
936       (dolist (subdir subdirs)
937         (when (file-directory-p (concat path subdir))
938           (setq mail-source-string (format "maildir:%s%s" path subdir))
939           (dolist (file (directory-files (concat path subdir) t))
940             (when (and (not (file-directory-p file))
941                        (not (if function
942                                 (funcall function file mail-source-crash-box)
943                               (let ((coding-system-for-write
944                                      mm-text-coding-system)
945                                     (coding-system-for-read
946                                      mm-text-coding-system))
947                                 (with-temp-file mail-source-crash-box
948                                   (insert-file-contents file)
949                                   (goto-char (point-min))
950 ;;;                               ;; Unix mail format
951 ;;;                               (unless (looking-at "\n*From ")
952 ;;;                                 (insert "From maildir "
953 ;;;                                         (current-time-string) "\n"))
954 ;;;                               (while (re-search-forward "^From " nil t)
955 ;;;                                 (replace-match ">From "))
956 ;;;                               (goto-char (point-max))
957 ;;;                               (insert "\n\n")
958                                   ;; MMDF mail format
959                                   (insert "\001\001\001\001\n"))
960                                 (delete-file file)))))
961               (incf found (mail-source-callback callback file))
962               (mail-source-delete-crash-box)))))
963       found)))
964
965 (eval-and-compile
966   (autoload 'imap-open "imap")
967   (autoload 'imap-authenticate "imap")
968   (autoload 'imap-mailbox-select "imap")
969   (autoload 'imap-mailbox-unselect "imap")
970   (autoload 'imap-mailbox-close "imap")
971   (autoload 'imap-search "imap")
972   (autoload 'imap-fetch "imap")
973   (autoload 'imap-close "imap")
974   (autoload 'imap-error-text "imap")
975   (autoload 'imap-message-flags-add "imap")
976   (autoload 'imap-list-to-message-set "imap")
977   (autoload 'imap-range-to-message-set "imap")
978   (autoload 'nnheader-ms-strip-cr "nnheader"))
979
980 (defvar mail-source-imap-file-coding-system 'binary
981   "Coding system for the crashbox made by `mail-source-fetch-imap'.")
982
983 (defun mail-source-fetch-imap (source callback)
984   "Fetcher for imap sources."
985   (mail-source-bind (imap source)
986     (mail-source-run-script
987      prescript (format-spec-make ?p password ?t mail-source-crash-box
988                                  ?s server ?P port ?u user)
989      prescript-delay)
990     (let ((from (format "%s:%s:%s" server user port))
991           (found 0)
992           (buf (generate-new-buffer " *imap source*"))
993           (mail-source-string (format "imap:%s:%s" server mailbox))
994           (imap-shell-program (or (list program) imap-shell-program))
995           remove)
996       (if (and (imap-open server port stream authentication buf)
997                (imap-authenticate
998                 user (or (cdr (assoc from mail-source-password-cache))
999                          password) buf)
1000                (imap-mailbox-select mailbox nil buf))
1001           (let ((coding-system-for-write mail-source-imap-file-coding-system)
1002                 str)
1003             (with-temp-file mail-source-crash-box
1004               ;; Avoid converting 8-bit chars from inserted strings to
1005               ;; multibyte.
1006               (mm-disable-multibyte)
1007               ;; remember password
1008               (with-current-buffer buf
1009                 (when (and imap-password
1010                            (not (assoc from mail-source-password-cache)))
1011                   (push (cons from imap-password) mail-source-password-cache)))
1012               ;; if predicate is nil, use all uids
1013               (dolist (uid (imap-search (or predicate "1:*") buf))
1014                 (when (setq str
1015                             (if (imap-capability 'IMAP4rev1 buf)
1016                                 (caddar (imap-fetch uid "BODY.PEEK[]"
1017                                                     'BODYDETAIL nil buf))
1018                               (imap-fetch uid "RFC822.PEEK" 'RFC822 nil buf)))
1019                   (push uid remove)
1020                   (insert "From imap " (current-time-string) "\n")
1021                   (save-excursion
1022                     (insert str "\n\n"))
1023                   (while (let ((case-fold-search nil))
1024                            (re-search-forward "^From " nil t))
1025                     (replace-match ">From "))
1026                   (goto-char (point-max))))
1027               (nnheader-ms-strip-cr))
1028             (incf found (mail-source-callback callback server))
1029             (mail-source-delete-crash-box)
1030             (when (and remove fetchflag)
1031               (setq remove (nreverse remove))
1032               (imap-message-flags-add
1033                (imap-range-to-message-set (gnus-compress-sequence remove))
1034                fetchflag nil buf))
1035             (if dontexpunge
1036                 (imap-mailbox-unselect buf)
1037               (imap-mailbox-close nil buf))
1038             (imap-close buf))
1039         (imap-close buf)
1040         ;; We nix out the password in case the error
1041         ;; was because of a wrong password being given.
1042         (setq mail-source-password-cache
1043               (delq (assoc from mail-source-password-cache)
1044                     mail-source-password-cache))
1045         (error "IMAP error: %s" (imap-error-text buf)))
1046       (kill-buffer buf)
1047       (mail-source-run-script
1048        postscript
1049        (format-spec-make ?p password ?t mail-source-crash-box
1050                          ?s server ?P port ?u user))
1051       found)))
1052
1053 (eval-and-compile
1054   (autoload 'webmail-fetch "webmail"))
1055
1056 (defun mail-source-fetch-webmail (source callback)
1057   "Fetch for webmail source."
1058   (mail-source-bind (webmail source)
1059     (let ((mail-source-string (format "webmail:%s:%s" subtype user))
1060           (webmail-newmail-only dontexpunge)
1061           (webmail-move-to-trash-can (not dontexpunge)))
1062       (when (eq authentication 'password)
1063         (setq password
1064               (or password
1065                   (cdr (assoc (format "webmail:%s:%s" subtype user)
1066                               mail-source-password-cache))
1067                   (read-passwd
1068                    (format "Password for %s at %s: " user subtype))))
1069         (when (and password
1070                    (not (assoc (format "webmail:%s:%s" subtype user)
1071                                mail-source-password-cache)))
1072           (push (cons (format "webmail:%s:%s" subtype user) password)
1073                 mail-source-password-cache)))
1074       (webmail-fetch mail-source-crash-box subtype user password)
1075       (mail-source-callback callback (symbol-name subtype))
1076       (mail-source-delete-crash-box))))
1077
1078 (provide 'mail-source)
1079
1080 ;;; arch-tag: 72948025-1d17-4d6c-bb12-ef1aa2c490fd
1081 ;;; mail-source.el ends here