cgit.sxemacs.org Git - gnus/blob - lisp/mail-source.el

   1 ;;; mail-source.el --- functions for fetching mail
   2
   3 ;; Copyright (C) 1999, 2000, 2001, 2002, 2003, 2004, 2005, 2006, 2007,
   4 ;;   2008, 2009, 2010  Free Software Foundation, Inc.
   5
   6 ;; Author: Lars Magne Ingebrigtsen <larsi@gnus.org>
   7 ;; Keywords: news, mail
   8
   9 ;; This file is part of GNU Emacs.
  10
  11 ;; GNU Emacs is free software: you can redistribute it and/or modify
  12 ;; it under the terms of the GNU General Public License as published by
  13 ;; the Free Software Foundation, either version 3 of the License, or
  14 ;; (at your option) any later version.
  15
  16 ;; GNU Emacs is distributed in the hope that it will be useful,
  17 ;; but WITHOUT ANY WARRANTY; without even the implied warranty of
  18 ;; MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  19 ;; GNU General Public License for more details.
  20
  21 ;; You should have received a copy of the GNU General Public License
  22 ;; along with GNU Emacs.  If not, see <http://www.gnu.org/licenses/>.
  23
  24 ;;; Commentary:
  25
  26 ;;; Code:
  27
  28 ;; For Emacs < 22.2.
  29 (eval-and-compile
  30   (unless (fboundp 'declare-function) (defmacro declare-function (&rest r))))
  31
  32 (require 'format-spec)
  33 (eval-when-compile
  34   (require 'cl)
  35   (require 'imap))
  36 (autoload 'auth-source-user-or-password "auth-source")
  37 (autoload 'pop3-movemail "pop3")
  38 (autoload 'pop3-get-message-count "pop3")
  39 (autoload 'nnheader-cancel-timer "nnheader")
  40 (require 'mm-util)
  41 (require 'message) ;; for `message-directory'
  42
  43 (defvar display-time-mail-function)
  44
  45 (defgroup mail-source nil
  46   "The mail-fetching library."
  47   :version "21.1"
  48   :group 'gnus)
  49
  50 ;; Define these at compile time to avoid dragging in imap always.
  51 (defconst mail-source-imap-authenticators
  52   (eval-when-compile
  53     (mapcar (lambda (a)
  54               (list 'const (car a)))
  55      imap-authenticator-alist)))
  56 (defconst mail-source-imap-streams
  57   (eval-when-compile
  58     (mapcar (lambda (a)
  59               (list 'const (car a)))
  60      imap-stream-alist)))
  61
  62 (defcustom mail-sources '((file))
  63   "Where the mail backends will look for incoming mail.
  64 This variable is a list of mail source specifiers.
  65 See Info node `(gnus)Mail Source Specifiers'."
  66   :group 'mail-source
  67   :version "23.1" ;; No Gnus
  68   :link '(custom-manual "(gnus)Mail Source Specifiers")
  69   :type `(choice
  70           (const :tag "None" nil)
  71           (repeat :tag "List"
  72            (choice :format "%[Value Menu%] %v"
  73                    :value (file)
  74                    (cons :tag "Group parameter `mail-source'"
  75                          (const :format "" group))
  76                    (cons :tag "Spool file"
  77                          (const :format "" file)
  78                          (checklist :tag "Options" :greedy t
  79                                     (group :inline t
  80                                            (const :format "" :value :path)
  81                                            file)))
  82                    (cons :tag "Several files in a directory"
  83                          (const :format "" directory)
  84                          (checklist :tag "Options" :greedy t
  85                                     (group :inline t
  86                                            (const :format "" :value :path)
  87                                            (directory :tag "Path"))
  88                                     (group :inline t
  89                                            (const :format "" :value :suffix)
  90                                            (string :tag "Suffix"))
  91                                     (group :inline t
  92                                            (const :format "" :value :predicate)
  93                                            (function :tag "Predicate"))
  94                                     (group :inline t
  95                                            (const :format "" :value :prescript)
  96                                            (choice :tag "Prescript"
  97                                                    :value nil
  98                                                    (string :format "%v")
  99                                                    (function :format "%v")))
 100                                     (group :inline t
 101                                            (const :format "" :value :postscript)
 102                                            (choice :tag "Postscript"
 103                                                    :value nil
 104                                                    (string :format "%v")
 105                                                    (function :format "%v")))
 106                                     (group :inline t
 107                                            (const :format "" :value :plugged)
 108                                            (boolean :tag "Plugged"))))
 109                    (cons :tag "POP3 server"
 110                          (const :format "" pop)
 111                          (checklist :tag "Options" :greedy t
 112                                     (group :inline t
 113                                            (const :format "" :value :server)
 114                                            (string :tag "Server"))
 115                                     (group :inline t
 116                                            (const :format "" :value :port)
 117                                            (choice :tag "Port"
 118                                                    :value "pop3"
 119                                                    (integer :format "%v")
 120                                                    (string :format "%v")))
 121                                     (group :inline t
 122                                            (const :format "" :value :user)
 123                                            (string :tag "User"))
 124                                     (group :inline t
 125                                            (const :format "" :value :password)
 126                                            (string :tag "Password"))
 127                                     (group :inline t
 128                                            (const :format "" :value :program)
 129                                            (string :tag "Program"))
 130                                     (group :inline t
 131                                            (const :format "" :value :prescript)
 132                                            (choice :tag "Prescript"
 133                                                    :value nil
 134                                                    (string :format "%v")
 135                                                    (function :format "%v")
 136                                                    (const :tag "None" nil)))
 137                                     (group :inline t
 138                                            (const :format "" :value :postscript)
 139                                            (choice :tag "Postscript"
 140                                                    :value nil
 141                                                    (string :format "%v")
 142                                                    (function :format "%v")
 143                                                    (const :tag "None" nil)))
 144                                     (group :inline t
 145                                            (const :format "" :value :function)
 146                                            (function :tag "Function"))
 147                                     (group :inline t
 148                                            (const :format ""
 149                                                   :value :authentication)
 150                                            (choice :tag "Authentication"
 151                                                    :value apop
 152                                                    (const password)
 153                                                    (const apop)))
 154                                     (group :inline t
 155                                            (const :format "" :value :plugged)
 156                                            (boolean :tag "Plugged"))
 157                                     (group :inline t
 158                                            (const :format "" :value :stream)
 159                                            (choice :tag "Stream"
 160                                                    :value nil
 161                                                    (const :tag "Clear" nil)
 162                                                    (const starttls)
 163                                                    (const :tag "SSL/TLS" ssl)))))
 164                    (cons :tag "Maildir (qmail, postfix...)"
 165                          (const :format "" maildir)
 166                          (checklist :tag "Options" :greedy t
 167                                     (group :inline t
 168                                            (const :format "" :value :path)
 169                                            (directory :tag "Path"))
 170                                     (group :inline t
 171                                            (const :format "" :value :plugged)
 172                                            (boolean :tag "Plugged"))))
 173                    (cons :tag "IMAP server"
 174                          (const :format "" imap)
 175                          (checklist :tag "Options" :greedy t
 176                                     (group :inline t
 177                                            (const :format "" :value :server)
 178                                            (string :tag "Server"))
 179                                     (group :inline t
 180                                            (const :format "" :value :port)
 181                                            (choice :tag "Port"
 182                                                    :value 143
 183                                                    integer string))
 184                                     (group :inline t
 185                                            (const :format "" :value :user)
 186                                            (string :tag "User"))
 187                                     (group :inline t
 188                                            (const :format "" :value :password)
 189                                            (string :tag "Password"))
 190                                     (group :inline t
 191                                            (const :format "" :value :stream)
 192                                            (choice :tag "Stream"
 193                                                    :value network
 194                                                    ,@mail-source-imap-streams))
 195                                     (group :inline t
 196                                            (const :format "" :value :program)
 197                                            (string :tag "Program"))
 198                                     (group :inline t
 199                                            (const :format ""
 200                                                   :value :authenticator)
 201                                            (choice :tag "Authenticator"
 202                                                    :value login
 203                                                    ,@mail-source-imap-authenticators))
 204                                     (group :inline t
 205                                            (const :format "" :value :mailbox)
 206                                            (string :tag "Mailbox"
 207                                                    :value "INBOX"))
 208                                     (group :inline t
 209                                            (const :format "" :value :predicate)
 210                                            (string :tag "Predicate"
 211                                                    :value "UNSEEN UNDELETED"))
 212                                     (group :inline t
 213                                            (const :format "" :value :fetchflag)
 214                                            (string :tag "Fetchflag"
 215                                                    :value  "\\Deleted"))
 216                                     (group :inline t
 217                                            (const :format ""
 218                                                   :value :dontexpunge)
 219                                            (boolean :tag "Dontexpunge"))
 220                                     (group :inline t
 221                                            (const :format "" :value :plugged)
 222                                            (boolean :tag "Plugged"))))
 223                    (cons :tag "Webmail server"
 224                          (const :format "" webmail)
 225                          (checklist :tag "Options" :greedy t
 226                                     (group :inline t
 227                                           (const :format "" :value :subtype)
 228                                           ;; Should be generated from
 229                                           ;; `webmail-type-definition', but we
 230                                           ;; can't require webmail without W3.
 231                                           (choice :tag "Subtype"
 232                                                   :value hotmail
 233                                                   (const hotmail)
 234                                                   (const yahoo)
 235                                                   (const netaddress)
 236                                                   (const netscape)
 237                                                   (const my-deja)))
 238                                     (group :inline t
 239                                            (const :format "" :value :user)
 240                                            (string :tag "User"))
 241                                     (group :inline t
 242                                            (const :format "" :value :password)
 243                                            (string :tag "Password"))
 244                                     (group :inline t
 245                                            (const :format ""
 246                                                   :value :dontexpunge)
 247                                            (boolean :tag "Dontexpunge"))
 248                                     (group :inline t
 249                                            (const :format "" :value :plugged)
 250                                            (boolean :tag "Plugged"))))))))
 251
 252 (defcustom mail-source-ignore-errors nil
 253   "*Ignore errors when querying mail sources.
 254 If nil, the user will be prompted when an error occurs.  If non-nil,
 255 the error will be ignored."
 256   :version "22.1"
 257   :group 'mail-source
 258   :type 'boolean)
 259
 260 (defcustom mail-source-primary-source nil
 261   "*Primary source for incoming mail.
 262 If non-nil, this maildrop will be checked periodically for new mail."
 263   :group 'mail-source
 264   :type 'sexp)
 265
 266 (defcustom mail-source-flash t
 267   "*If non-nil, flash periodically when mail is available."
 268   :group 'mail-source
 269   :type 'boolean)
 270
 271 (defcustom mail-source-crash-box "~/.emacs-mail-crash-box"
 272   "File where mail will be stored while processing it."
 273   :group 'mail-source
 274   :type 'file)
 275
 276 (defcustom mail-source-directory message-directory
 277   "Directory where incoming mail source files (if any) will be stored."
 278   :group 'mail-source
 279   :type 'directory)
 280
 281 (defcustom mail-source-default-file-modes 384
 282   "Set the mode bits of all new mail files to this integer."
 283   :group 'mail-source
 284   :type 'integer)
 285
 286 (defcustom mail-source-delete-incoming
 287   10 ;; development versions
 288   ;; 2 ;; released versions
 289   "If non-nil, delete incoming files after handling.
 290 If t, delete immediately, if nil, never delete.  If a positive number, delete
 291 files older than number of days.
 292
 293 Removing of old files happens in `mail-source-callback', i.e. no
 294 old incoming files will be deleted unless you receive new mail.
 295 You may also set this variable to nil and call
 296 `mail-source-delete-old-incoming' interactively."
 297   :group 'mail-source
 298   :version "22.2" ;; No Gnus / Gnus 5.10.10 (default changed)
 299   :type '(choice (const :tag "immediately" t)
 300                  (const :tag "never" nil)
 301                  (integer :tag "days")))
 302
 303 (defcustom mail-source-delete-old-incoming-confirm nil
 304   "If non-nil, ask for confirmation before deleting old incoming files.
 305 This variable only applies when `mail-source-delete-incoming' is a positive
 306 number."
 307   :version "22.2" ;; No Gnus / Gnus 5.10.10 (default changed)
 308   :group 'mail-source
 309   :type 'boolean)
 310
 311 (defcustom mail-source-incoming-file-prefix "Incoming"
 312   "Prefix for file name for storing incoming mail"
 313   :group 'mail-source
 314   :type 'string)
 315
 316 (defcustom mail-source-report-new-mail-interval 5
 317   "Interval in minutes between checks for new mail."
 318   :group 'mail-source
 319   :type 'number)
 320
 321 (defcustom mail-source-idle-time-delay 5
 322   "Number of idle seconds to wait before checking for new mail."
 323   :group 'mail-source
 324   :type 'number)
 325
 326 (defcustom mail-source-movemail-program nil
 327   "If non-nil, name of program for fetching new mail."
 328   :version "22.1"
 329   :group 'mail-source
 330   :type '(choice (const nil) string))
 331
 332 ;;; Internal variables.
 333
 334 (defvar mail-source-string ""
 335   "A dynamically bound string that says what the current mail source is.")
 336
 337 (defvar mail-source-new-mail-available nil
 338   "Flag indicating when new mail is available.")
 339
 340 (eval-and-compile
 341   (defvar mail-source-common-keyword-map
 342     '((:plugged))
 343     "Mapping from keywords to default values.
 344 Common keywords should be listed here.")
 345
 346   (defvar mail-source-keyword-map
 347     '((file
 348        (:prescript)
 349        (:prescript-delay)
 350        (:postscript)
 351        (:path (or (getenv "MAIL")
 352                   (expand-file-name (user-login-name) rmail-spool-directory))))
 353       (directory
 354        (:prescript)
 355        (:prescript-delay)
 356        (:postscript)
 357        (:path)
 358        (:suffix ".spool")
 359        (:predicate identity))
 360       (pop
 361        (:prescript)
 362        (:prescript-delay)
 363        (:postscript)
 364        (:server (getenv "MAILHOST"))
 365        (:port 110)
 366        (:user (or (user-login-name) (getenv "LOGNAME") (getenv "USER")))
 367        (:program)
 368        (:function)
 369        (:password)
 370        (:authentication password)
 371        (:stream nil))
 372       (maildir
 373        (:path (or (getenv "MAILDIR") "~/Maildir/"))
 374        (:subdirs ("cur" "new"))
 375        (:function))
 376       (imap
 377        (:server (getenv "MAILHOST"))
 378        (:port)
 379        (:stream)
 380        (:program)
 381        (:authentication)
 382        (:user (or (user-login-name) (getenv "LOGNAME") (getenv "USER")))
 383        (:password)
 384        (:mailbox "INBOX")
 385        (:predicate "UNSEEN UNDELETED")
 386        (:fetchflag "\\Deleted")
 387        (:prescript)
 388        (:prescript-delay)
 389        (:postscript)
 390        (:dontexpunge))
 391       (webmail
 392        (:subtype hotmail)
 393        (:user (or (user-login-name) (getenv "LOGNAME") (getenv "USER")))
 394        (:password)
 395        (:dontexpunge)
 396        (:authentication password)))
 397     "Mapping from keywords to default values.
 398 All keywords that can be used must be listed here."))
 399
 400 (defvar mail-source-fetcher-alist
 401   '((file mail-source-fetch-file)
 402     (directory mail-source-fetch-directory)
 403     (pop mail-source-fetch-pop)
 404     (maildir mail-source-fetch-maildir)
 405     (imap mail-source-fetch-imap)
 406     (webmail mail-source-fetch-webmail))
 407   "A mapping from source type to fetcher function.")
 408
 409 (defvar mail-source-password-cache nil)
 410
 411 (defvar mail-source-plugged t)
 412
 413 ;;; Functions
 414
 415 (eval-and-compile
 416   (defun mail-source-strip-keyword (keyword)
 417     "Strip the leading colon off the KEYWORD."
 418     (intern (substring (symbol-name keyword) 1))))
 419
 420 ;; generate a list of variable names paired with nil values
 421 ;; suitable for usage in a `let' form
 422 (eval-and-compile
 423   (defun mail-source-bind-1 (type)
 424     (let* ((defaults (cdr (assq type mail-source-keyword-map)))
 425            default bind)
 426       (while (setq default (pop defaults))
 427         (push (list (mail-source-strip-keyword (car default))
 428                     nil)
 429               bind))
 430       bind)))
 431
 432 (defmacro mail-source-bind (type-source &rest body)
 433   "Return a `let' form that binds all variables in source TYPE.
 434 TYPE-SOURCE is a list where the first element is the TYPE, and
 435 the second variable is the SOURCE.
 436 At run time, the mail source specifier SOURCE will be inspected,
 437 and the variables will be set according to it.  Variables not
 438 specified will be given default values.
 439
 440 The user and password will be loaded from the auth-source values
 441 if those are available.  They override the original user and
 442 password in a second `let' form.
 443
 444 After this is done, BODY will be executed in the scope
 445 of the second `let' form.
 446
 447 The variables bound and their default values are described by
 448 the `mail-source-keyword-map' variable."
 449   `(let* ,(mail-source-bind-1 (car type-source))
 450      (mail-source-set-1 ,(cadr type-source))
 451      ,@body))
 452
 453 (put 'mail-source-bind 'lisp-indent-function 1)
 454 (put 'mail-source-bind 'edebug-form-spec '(sexp body))
 455
 456 ;; TODO: use the list format for auth-source-user-or-password modes
 457 (defun mail-source-set-1 (source)
 458   (let* ((type (pop source))
 459          (defaults (cdr (assq type mail-source-keyword-map)))
 460          default value keyword auth-info user-auth pass-auth)
 461     (while (setq default (pop defaults))
 462       ;; for each default :SYMBOL, set SYMBOL to the plist value for :SYMBOL
 463       ;; using `mail-source-value' to evaluate the plist value
 464       (set (mail-source-strip-keyword (setq keyword (car default)))
 465            ;; note the following reasons for this structure:
 466            ;; 1) the auth-sources user and password override everything
 467            ;; 2) it avoids macros, so it's cleaner
 468            ;; 3) it falls through to the mail-sources and then default values
 469            (cond
 470             ((and
 471              (eq keyword :user)
 472              (setq user-auth
 473                    (nth 0 (auth-source-user-or-password
 474                            '("login" "password")
 475                            ;; this is "host" in auth-sources
 476                            (if (boundp 'server) (symbol-value 'server) "")
 477                            type))))
 478              user-auth)
 479             ((and
 480               (eq keyword :password)
 481               (setq pass-auth
 482                     (nth 1
 483                          (auth-source-user-or-password
 484                           '("login" "password")
 485                           ;; this is "host" in auth-sources
 486                           (if (boundp 'server) (symbol-value 'server) "")
 487                           type))))
 488              pass-auth)
 489             (t (if (setq value (plist-get source keyword))
 490                  (mail-source-value value)
 491                (mail-source-value (cadr default)))))))))
 492
 493 (eval-and-compile
 494   (defun mail-source-bind-common-1 ()
 495     (let* ((defaults mail-source-common-keyword-map)
 496            default bind)
 497       (while (setq default (pop defaults))
 498         (push (list (mail-source-strip-keyword (car default))
 499                     nil)
 500               bind))
 501       bind)))
 502
 503 (defun mail-source-set-common-1 (source)
 504   (let* ((type (pop source))
 505          (defaults mail-source-common-keyword-map)
 506          (defaults-1 (cdr (assq type mail-source-keyword-map)))
 507          default value keyword)
 508     (while (setq default (pop defaults))
 509       (set (mail-source-strip-keyword (setq keyword (car default)))
 510            (if (setq value (plist-get source keyword))
 511                (mail-source-value value)
 512              (if (setq value (assq  keyword defaults-1))
 513                  (mail-source-value (cadr value))
 514                (mail-source-value (cadr default))))))))
 515
 516 (defmacro mail-source-bind-common (source &rest body)
 517   "Return a `let' form that binds all common variables.
 518 See `mail-source-bind'."
 519   `(let ,(mail-source-bind-common-1)
 520      (mail-source-set-common-1 source)
 521      ,@body))
 522
 523 (put 'mail-source-bind-common 'lisp-indent-function 1)
 524 (put 'mail-source-bind-common 'edebug-form-spec '(sexp body))
 525
 526 (defun mail-source-value (value)
 527   "Return the value of VALUE."
 528   (cond
 529    ;; String
 530    ((stringp value)
 531     value)
 532    ;; Function
 533    ((and (listp value) (symbolp (car value)) (fboundp (car value)))
 534     (eval value))
 535    ;; Just return the value.
 536    (t
 537     value)))
 538
 539 (defun mail-source-fetch (source callback &optional method)
 540   "Fetch mail from SOURCE and call CALLBACK zero or more times.
 541 CALLBACK will be called with the name of the file where (some of)
 542 the mail from SOURCE is put.
 543 Return the number of files that were found."
 544   (mail-source-bind-common source
 545     (if (or mail-source-plugged plugged)
 546         (save-excursion
 547           ;; Special-case the `file' handler since it's so common and
 548           ;; just adds noise.
 549           (when (or (not (eq (car source) 'file))
 550                     (mail-source-bind (file source)
 551                       (file-exists-p path)))
 552             (nnheader-message 4 "%sReading incoming mail from %s..."
 553                               (if method
 554                                   (format "%s: " method)
 555                                 "")
 556                               (car source)))
 557           (let ((function (cadr (assq (car source) mail-source-fetcher-alist)))
 558                 (found 0))
 559             (unless function
 560               (error "%S is an invalid mail source specification" source))
 561             ;; If there's anything in the crash box, we do it first.
 562             (when (file-exists-p mail-source-crash-box)
 563               (message "Processing mail from %s..." mail-source-crash-box)
 564               (setq found (mail-source-callback
 565                            callback mail-source-crash-box))
 566               (mail-source-delete-crash-box))
 567             (+ found
 568                (if (or debug-on-quit debug-on-error)
 569                    (funcall function source callback)
 570                  (condition-case err
 571                      (funcall function source callback)
 572                    (error
 573                     (if (and (not mail-source-ignore-errors)
 574                              (not
 575                               (yes-or-no-p
 576                                (format "Mail source %s error (%s).  Continue? "
 577                                        (if (memq ':password source)
 578                                            (let ((s (copy-sequence source)))
 579                                              (setcar (cdr (memq ':password s))
 580                                                      "********")
 581                                              s)
 582                                          source)
 583                                        (cadr err)))))
 584                       (error "Cannot get new mail"))
 585                     0)))))))))
 586
 587 (declare-function gnus-message "gnus-util" (level &rest args))
 588
 589 (defun mail-source-delete-old-incoming (&optional age confirm)
 590   "Remove incoming files older than AGE days.
 591 If CONFIRM is non-nil, ask for confirmation before removing a file."
 592   (interactive "P")
 593   (require 'gnus-util)
 594   (let* ((high2days (/ 65536.0 60 60 24));; convert high bits to days
 595          (low2days  (/ 1.0 65536.0))     ;; convert low bits to days
 596          (diff (if (natnump age) age 30));; fallback, if no valid AGE given
 597          currday files)
 598     (setq files (directory-files
 599                  mail-source-directory t
 600                  (concat "\\`"
 601                          (regexp-quote mail-source-incoming-file-prefix)))
 602           currday (* (car (current-time)) high2days)
 603           currday (+ currday (* low2days (nth 1 (current-time)))))
 604     (while files
 605       (let* ((ffile (car files))
 606              (bfile (gnus-replace-in-string
 607                      ffile "\\`.*/\\([^/]+\\)\\'" "\\1"))
 608              (filetime (nth 5 (file-attributes ffile)))
 609              (fileday (* (car filetime) high2days))
 610              (fileday (+ fileday (* low2days (nth 1 filetime)))))
 611         (setq files (cdr files))
 612         (when (and (> (- currday fileday) diff)
 613                    (if confirm
 614                        (y-or-n-p
 615                         (format "\
 616 Delete old (> %s day(s)) incoming mail file `%s'? " diff bfile))
 617                      (gnus-message 8 "\
 618 Deleting old (> %s day(s)) incoming mail file `%s'." diff bfile)
 619                      t))
 620           (delete-file ffile))))))
 621
 622 (defun mail-source-callback (callback info)
 623   "Call CALLBACK on the mail file.  Pass INFO on to CALLBACK."
 624   (if (or (not (file-exists-p mail-source-crash-box))
 625           (zerop (nth 7 (file-attributes mail-source-crash-box))))
 626       (progn
 627         (when (file-exists-p mail-source-crash-box)
 628           (delete-file mail-source-crash-box))
 629         0)
 630     (funcall callback mail-source-crash-box info)))
 631
 632 (defvar mail-source-incoming-last-checked-time nil)
 633
 634 (defun mail-source-delete-crash-box ()
 635   (when (file-exists-p mail-source-crash-box)
 636     ;; Delete or move the incoming mail out of the way.
 637     (if (eq mail-source-delete-incoming t)
 638         (delete-file mail-source-crash-box)
 639       (let ((incoming
 640              (mm-make-temp-file
 641               (expand-file-name
 642                mail-source-incoming-file-prefix
 643                mail-source-directory))))
 644         (unless (file-exists-p (file-name-directory incoming))
 645           (make-directory (file-name-directory incoming) t))
 646         (rename-file mail-source-crash-box incoming t)
 647         ;; remove old incoming files?
 648         (when (natnump mail-source-delete-incoming)
 649           ;; Don't check for old incoming files more than once per day to
 650           ;; save a lot of file accesses.
 651           (when (or (null mail-source-incoming-last-checked-time)
 652                     (> (time-to-seconds
 653                         (time-since mail-source-incoming-last-checked-time))
 654                        (* 24 60 60)))
 655             (setq mail-source-incoming-last-checked-time (current-time))
 656             (mail-source-delete-old-incoming
 657              mail-source-delete-incoming
 658              mail-source-delete-old-incoming-confirm)))))))
 659
 660 (defun mail-source-movemail (from to)
 661   "Move FROM to TO using movemail."
 662   (if (not (file-writable-p to))
 663       (error "Can't write to crash box %s.  Not moving mail" to)
 664     (let ((to (file-truename (expand-file-name to)))
 665           errors result)
 666       (setq to (file-truename to)
 667             from (file-truename from))
 668       ;; Set TO if have not already done so, and rename or copy
 669       ;; the file FROM to TO if and as appropriate.
 670       (cond
 671        ((file-exists-p to)
 672         ;; The crash box exists already.
 673         t)
 674        ((not (file-exists-p from))
 675         ;; There is no inbox.
 676         (setq to nil))
 677        ((zerop (nth 7 (file-attributes from)))
 678         ;; Empty file.
 679         (setq to nil))
 680        (t
 681         ;; If getting from mail spool directory, use movemail to move
 682         ;; rather than just renaming, so as to interlock with the
 683         ;; mailer.
 684         (unwind-protect
 685             (save-excursion
 686               (setq errors (generate-new-buffer " *mail source loss*"))
 687               (let ((default-directory "/"))
 688                 (setq result
 689                       (apply
 690                        'call-process
 691                        (append
 692                         (list
 693                          (or mail-source-movemail-program
 694                              (expand-file-name "movemail" exec-directory))
 695                          nil errors nil from to)))))
 696               (when (file-exists-p to)
 697                 (set-file-modes to mail-source-default-file-modes))
 698               (if (and (or (not (buffer-modified-p errors))
 699                            (zerop (buffer-size errors)))
 700                        (and (numberp result)
 701                             (zerop result)))
 702                   ;; No output => movemail won.
 703                   t
 704                 (set-buffer errors)
 705                 ;; There may be a warning about older revisions.  We
 706                 ;; ignore that.
 707                 (goto-char (point-min))
 708                 (if (search-forward "older revision" nil t)
 709                     t
 710                   ;; Probably a real error.
 711                   (subst-char-in-region (point-min) (point-max) ?\n ?\  )
 712                   (goto-char (point-max))
 713                   (skip-chars-backward " \t")
 714                   (delete-region (point) (point-max))
 715                   (goto-char (point-min))
 716                   (when (looking-at "movemail: ")
 717                     (delete-region (point-min) (match-end 0)))
 718                   ;; Result may be a signal description string.
 719                   (unless (yes-or-no-p
 720                            (format "movemail: %s (%s return).  Continue? "
 721                                    (buffer-string) result))
 722                     (error "%s" (buffer-string)))
 723                   (setq to nil)))))))
 724       (when (and errors
 725                  (buffer-name errors))
 726         (kill-buffer errors))
 727       ;; Return whether we moved successfully or not.
 728       to)))
 729
 730 (defun mail-source-movemail-and-remove (from to)
 731   "Move FROM to TO using movemail, then remove FROM if empty."
 732   (or (not (mail-source-movemail from to))
 733       (not (zerop (nth 7 (file-attributes from))))
 734       (delete-file from)))
 735
 736 (defun mail-source-fetch-with-program (program)
 737   (eq 0 (call-process shell-file-name nil nil nil
 738                       shell-command-switch program)))
 739
 740 (defun mail-source-run-script (script spec &optional delay)
 741   (when script
 742     (if (functionp script)
 743         (funcall script)
 744       (mail-source-call-script
 745        (format-spec script spec))))
 746   (when delay
 747     (sleep-for delay)))
 748
 749 (defun mail-source-call-script (script)
 750   (let ((background nil)
 751         (stderr (get-buffer-create " *mail-source-stderr*"))
 752         result)
 753     (when (string-match "& *$" script)
 754       (setq script (substring script 0 (match-beginning 0))
 755             background 0))
 756     (setq result
 757           (call-process shell-file-name nil background nil
 758                         shell-command-switch script))
 759     (when (and result
 760                (not (zerop result)))
 761       (set-buffer stderr)
 762       (message "Mail source error: %s" (buffer-string)))
 763     (kill-buffer stderr)))
 764
 765 ;;;
 766 ;;; Different fetchers
 767 ;;;
 768
 769 (defun mail-source-fetch-file (source callback)
 770   "Fetcher for single-file sources."
 771   (mail-source-bind (file source)
 772     (mail-source-run-script
 773      prescript (format-spec-make ?t mail-source-crash-box)
 774      prescript-delay)
 775     (let ((mail-source-string (format "file:%s" path)))
 776       (if (mail-source-movemail path mail-source-crash-box)
 777           (prog1
 778               (mail-source-callback callback path)
 779             (mail-source-run-script
 780              postscript (format-spec-make ?t mail-source-crash-box))
 781             (mail-source-delete-crash-box))
 782         0))))
 783
 784 (defun mail-source-fetch-directory (source callback)
 785   "Fetcher for directory sources."
 786   (mail-source-bind (directory source)
 787     (mail-source-run-script
 788      prescript (format-spec-make ?t path) prescript-delay)
 789     (let ((found 0)
 790           (mail-source-string (format "directory:%s" path)))
 791       (dolist (file (directory-files
 792                      path t (concat (regexp-quote suffix) "$")))
 793         (when (and (file-regular-p file)
 794                    (funcall predicate file)
 795                    (mail-source-movemail file mail-source-crash-box))
 796           (incf found (mail-source-callback callback file))
 797           (mail-source-run-script postscript (format-spec-make ?t path))
 798           (mail-source-delete-crash-box)))
 799       found)))
 800
 801 (defun mail-source-fetch-pop (source callback)
 802   "Fetcher for single-file sources."
 803   (mail-source-bind (pop source)
 804     ;; fixme: deal with stream type in format specs
 805     (mail-source-run-script
 806      prescript
 807      (format-spec-make ?p password ?t mail-source-crash-box
 808                        ?s server ?P port ?u user)
 809      prescript-delay)
 810     (let ((from (format "%s:%s:%s" server user port))
 811           (mail-source-string (format "pop:%s@%s" user server))
 812           result)
 813       (when (eq authentication 'password)
 814         (setq password
 815               (or password
 816                   (cdr (assoc from mail-source-password-cache))
 817                   (read-passwd
 818                    (format "Password for %s at %s: " user server)))))
 819       (when server
 820         (setenv "MAILHOST" server))
 821       (setq result
 822             (cond
 823              (program
 824               (mail-source-fetch-with-program
 825                (format-spec
 826                 program
 827                 (format-spec-make ?p password ?t mail-source-crash-box
 828                                   ?s server ?P port ?u user))))
 829              (function
 830               (funcall function mail-source-crash-box))
 831              ;; The default is to use pop3.el.
 832              (t
 833               (require 'pop3)
 834               (let ((pop3-password password)
 835                     (pop3-maildrop user)
 836                     (pop3-mailhost server)
 837                     (pop3-port port)
 838                     (pop3-authentication-scheme
 839                      (if (eq authentication 'apop) 'apop 'pass))
 840                     (pop3-stream-type stream))
 841                 (if (or debug-on-quit debug-on-error)
 842                     (save-excursion (pop3-movemail mail-source-crash-box))
 843                   (condition-case err
 844                       (save-excursion (pop3-movemail mail-source-crash-box))
 845                     (error
 846                      ;; We nix out the password in case the error
 847                      ;; was because of a wrong password being given.
 848                      (setq mail-source-password-cache
 849                            (delq (assoc from mail-source-password-cache)
 850                                  mail-source-password-cache))
 851                      (signal (car err) (cdr err)))))))))
 852       (if result
 853           (progn
 854             (when (eq authentication 'password)
 855               (unless (assoc from mail-source-password-cache)
 856                 (push (cons from password) mail-source-password-cache)))
 857             (prog1
 858                 (mail-source-callback callback server)
 859               ;; Update display-time's mail flag, if relevant.
 860               (if (equal source mail-source-primary-source)
 861                   (setq mail-source-new-mail-available nil))
 862               (mail-source-run-script
 863                postscript
 864                (format-spec-make ?p password ?t mail-source-crash-box
 865                                  ?s server ?P port ?u user))
 866               (mail-source-delete-crash-box)))
 867         ;; We nix out the password in case the error
 868         ;; was because of a wrong password being given.
 869         (setq mail-source-password-cache
 870               (delq (assoc from mail-source-password-cache)
 871                     mail-source-password-cache))
 872         0))))
 873
 874 (defun mail-source-check-pop (source)
 875   "Check whether there is new mail."
 876   (mail-source-bind (pop source)
 877     (let ((from (format "%s:%s:%s" server user port))
 878           (mail-source-string (format "pop:%s@%s" user server))
 879           result)
 880       (when (eq authentication 'password)
 881         (setq password
 882               (or password
 883                   (cdr (assoc from mail-source-password-cache))
 884                   (read-passwd
 885                    (format "Password for %s at %s: " user server))))
 886         (unless (assoc from mail-source-password-cache)
 887           (push (cons from password) mail-source-password-cache)))
 888       (when server
 889         (setenv "MAILHOST" server))
 890       (setq result
 891             (cond
 892              ;; No easy way to check whether mail is waiting for these.
 893              (program)
 894              (function)
 895              ;; The default is to use pop3.el.
 896              (t
 897               (require 'pop3)
 898               (let ((pop3-password password)
 899                     (pop3-maildrop user)
 900                     (pop3-mailhost server)
 901                     (pop3-port port)
 902                     (pop3-authentication-scheme
 903                      (if (eq authentication 'apop) 'apop 'pass)))
 904                 (if (or debug-on-quit debug-on-error)
 905                     (save-excursion (pop3-get-message-count))
 906                   (condition-case err
 907                       (save-excursion (pop3-get-message-count))
 908                     (error
 909                      ;; We nix out the password in case the error
 910                      ;; was because of a wrong password being given.
 911                      (setq mail-source-password-cache
 912                            (delq (assoc from mail-source-password-cache)
 913                                  mail-source-password-cache))
 914                      (signal (car err) (cdr err)))))))))
 915       (if result
 916           ;; Inform display-time that we have new mail.
 917           (setq mail-source-new-mail-available (> result 0))
 918         ;; We nix out the password in case the error
 919         ;; was because of a wrong password being given.
 920         (setq mail-source-password-cache
 921               (delq (assoc from mail-source-password-cache)
 922                     mail-source-password-cache)))
 923       result)))
 924
 925 (defun mail-source-touch-pop ()
 926   "Open and close a POP connection shortly.
 927 POP server should be defined in `mail-source-primary-source' (which is
 928 preferred) or `mail-sources'.  You may use it for the POP-before-SMTP
 929 authentication.  To do that, you need to set the
 930 `message-send-mail-function' variable as `message-smtpmail-send-it'
 931 and put the following line in your ~/.gnus.el file:
 932
 933 \(add-hook 'message-send-mail-hook 'mail-source-touch-pop)
 934
 935 See the Gnus manual for details."
 936   (let ((sources (if mail-source-primary-source
 937                      (list mail-source-primary-source)
 938                    mail-sources)))
 939     (while sources
 940       (if (eq 'pop (car (car sources)))
 941           (mail-source-check-pop (car sources)))
 942       (setq sources (cdr sources)))))
 943
 944 (defun mail-source-new-mail-p ()
 945   "Handler for `display-time' to indicate when new mail is available."
 946   ;; Flash (ie. ring the visible bell) if mail is available.
 947   (if (and mail-source-flash mail-source-new-mail-available)
 948       (let ((visible-bell t))
 949         (ding)))
 950   ;; Only report flag setting; flag is updated on a different schedule.
 951   mail-source-new-mail-available)
 952
 953
 954 (defvar mail-source-report-new-mail nil)
 955 (defvar mail-source-report-new-mail-timer nil)
 956 (defvar mail-source-report-new-mail-idle-timer nil)
 957
 958 (defun mail-source-start-idle-timer ()
 959   ;; Start our idle timer if necessary, so we delay the check until the
 960   ;; user isn't typing.
 961   (unless mail-source-report-new-mail-idle-timer
 962     (setq mail-source-report-new-mail-idle-timer
 963           (run-with-idle-timer
 964            mail-source-idle-time-delay
 965            nil
 966            (lambda ()
 967              (unwind-protect
 968                  (mail-source-check-pop mail-source-primary-source)
 969                (setq mail-source-report-new-mail-idle-timer nil)))))
 970     ;; Since idle timers created when Emacs is already in the idle
 971     ;; state don't get activated until Emacs _next_ becomes idle, we
 972     ;; need to force our timer to be considered active now.  We do
 973     ;; this by being naughty and poking the timer internals directly
 974     ;; (element 0 of the vector is nil if the timer is active).
 975     (aset mail-source-report-new-mail-idle-timer 0 nil)))
 976
 977 (defun mail-source-report-new-mail (arg)
 978   "Toggle whether to report when new mail is available.
 979 This only works when `display-time' is enabled."
 980   (interactive "P")
 981   (if (not mail-source-primary-source)
 982       (error "Need to set `mail-source-primary-source' to check for new mail"))
 983   (let ((on (if (null arg)
 984                 (not mail-source-report-new-mail)
 985               (> (prefix-numeric-value arg) 0))))
 986     (setq mail-source-report-new-mail on)
 987     (and mail-source-report-new-mail-timer
 988          (nnheader-cancel-timer mail-source-report-new-mail-timer))
 989     (and mail-source-report-new-mail-idle-timer
 990          (nnheader-cancel-timer mail-source-report-new-mail-idle-timer))
 991     (setq mail-source-report-new-mail-timer nil)
 992     (setq mail-source-report-new-mail-idle-timer nil)
 993     (if on
 994         (progn
 995           (require 'time)
 996           ;; display-time-mail-function is an Emacs feature.
 997           (setq display-time-mail-function #'mail-source-new-mail-p)
 998           ;; Set up the main timer.
 999           (setq mail-source-report-new-mail-timer
1000                 (run-at-time
1001                  (* 60 mail-source-report-new-mail-interval)
1002                  (* 60 mail-source-report-new-mail-interval)
1003                  #'mail-source-start-idle-timer))
1004           ;; When you get new mail, clear "Mail" from the mode line.
1005           (add-hook 'nnmail-post-get-new-mail-hook
1006                     'display-time-event-handler)
1007           (message "Mail check enabled"))
1008       (setq display-time-mail-function nil)
1009       (remove-hook 'nnmail-post-get-new-mail-hook
1010                    'display-time-event-handler)
1011       (message "Mail check disabled"))))
1012
1013 (defun mail-source-fetch-maildir (source callback)
1014   "Fetcher for maildir sources."
1015   (mail-source-bind (maildir source)
1016     (let ((found 0)
1017           mail-source-string)
1018       (unless (string-match "/$" path)
1019         (setq path (concat path "/")))
1020       (dolist (subdir subdirs)
1021         (when (file-directory-p (concat path subdir))
1022           (setq mail-source-string (format "maildir:%s%s" path subdir))
1023           (dolist (file (directory-files (concat path subdir) t))
1024             (when (and (not (file-directory-p file))
1025                        (not (if function
1026                                 (funcall function file mail-source-crash-box)
1027                               (let ((coding-system-for-write
1028                                      mm-text-coding-system)
1029                                     (coding-system-for-read
1030                                      mm-text-coding-system))
1031                                 (with-temp-file mail-source-crash-box
1032                                   (insert-file-contents file)
1033                                   (goto-char (point-min))
1034 ;;;                               ;; Unix mail format
1035 ;;;                               (unless (looking-at "\n*From ")
1036 ;;;                                 (insert "From maildir "
1037 ;;;                                         (current-time-string) "\n"))
1038 ;;;                               (while (re-search-forward "^From " nil t)
1039 ;;;                                 (replace-match ">From "))
1040 ;;;                               (goto-char (point-max))
1041 ;;;                               (insert "\n\n")
1042                                   ;; MMDF mail format
1043                                   (insert "\001\001\001\001\n"))
1044                                 (delete-file file)))))
1045               (incf found (mail-source-callback callback file))
1046               (mail-source-delete-crash-box)))))
1047       found)))
1048
1049 (autoload 'imap-open "imap")
1050 (autoload 'imap-authenticate "imap")
1051 (autoload 'imap-mailbox-select "imap")
1052 (autoload 'imap-mailbox-unselect "imap")
1053 (autoload 'imap-mailbox-close "imap")
1054 (autoload 'imap-search "imap")
1055 (autoload 'imap-fetch "imap")
1056 (autoload 'imap-close "imap")
1057 (autoload 'imap-error-text "imap")
1058 (autoload 'imap-message-flags-add "imap")
1059 (autoload 'imap-list-to-message-set "imap")
1060 (autoload 'imap-range-to-message-set "imap")
1061 (autoload 'nnheader-ms-strip-cr "nnheader")
1062
1063 (autoload 'gnus-compress-sequence "gnus-range")
1064
1065 (defvar mail-source-imap-file-coding-system 'binary
1066   "Coding system for the crashbox made by `mail-source-fetch-imap'.")
1067
1068 ;; Autoloads will bring in imap before this is called.
1069 (declare-function imap-capability "imap" (&optional identifier buffer))
1070
1071 (defun mail-source-fetch-imap (source callback)
1072   "Fetcher for imap sources."
1073   (mail-source-bind (imap source)
1074     (mail-source-run-script
1075      prescript (format-spec-make ?p password ?t mail-source-crash-box
1076                                  ?s server ?P port ?u user)
1077      prescript-delay)
1078     (let ((from (format "%s:%s:%s" server user port))
1079           (found 0)
1080           (buf (generate-new-buffer " *imap source*"))
1081           (mail-source-string (format "imap:%s:%s" server mailbox))
1082           (imap-shell-program (or (list program) imap-shell-program))
1083           remove)
1084       (if (and (imap-open server port stream authentication buf)
1085                (imap-authenticate
1086                 user (or (cdr (assoc from mail-source-password-cache))
1087                          password) buf)
1088                (imap-mailbox-select mailbox nil buf))
1089           (let ((coding-system-for-write mail-source-imap-file-coding-system)
1090                 str)
1091             (with-temp-file mail-source-crash-box
1092               ;; Avoid converting 8-bit chars from inserted strings to
1093               ;; multibyte.
1094               (mm-disable-multibyte)
1095               ;; remember password
1096               (with-current-buffer buf
1097                 (when (and imap-password
1098                            (not (assoc from mail-source-password-cache)))
1099                   (push (cons from imap-password) mail-source-password-cache)))
1100               ;; if predicate is nil, use all uids
1101               (dolist (uid (imap-search (or predicate "1:*") buf))
1102                 (when (setq str
1103                             (if (imap-capability 'IMAP4rev1 buf)
1104                                 (caddar (imap-fetch uid "BODY.PEEK[]"
1105                                                     'BODYDETAIL nil buf))
1106                               (imap-fetch uid "RFC822.PEEK" 'RFC822 nil buf)))
1107                   (push uid remove)
1108                   (insert "From imap " (current-time-string) "\n")
1109                   (save-excursion
1110                     (insert str "\n\n"))
1111                   (while (let ((case-fold-search nil))
1112                            (re-search-forward "^From " nil t))
1113                     (replace-match ">From "))
1114                   (goto-char (point-max))))
1115               (nnheader-ms-strip-cr))
1116             (incf found (mail-source-callback callback server))
1117             (mail-source-delete-crash-box)
1118             (when (and remove fetchflag)
1119               (setq remove (nreverse remove))
1120               (imap-message-flags-add
1121                (imap-range-to-message-set (gnus-compress-sequence remove))
1122                fetchflag nil buf))
1123             (if dontexpunge
1124                 (imap-mailbox-unselect buf)
1125               (imap-mailbox-close nil buf))
1126             (imap-close buf))
1127         (imap-close buf)
1128         ;; We nix out the password in case the error
1129         ;; was because of a wrong password being given.
1130         (setq mail-source-password-cache
1131               (delq (assoc from mail-source-password-cache)
1132                     mail-source-password-cache))
1133         (error "IMAP error: %s" (imap-error-text buf)))
1134       (kill-buffer buf)
1135       (mail-source-run-script
1136        postscript
1137        (format-spec-make ?p password ?t mail-source-crash-box
1138                          ?s server ?P port ?u user))
1139       found)))
1140
1141 (autoload 'webmail-fetch "webmail")
1142
1143 (defun mail-source-fetch-webmail (source callback)
1144   "Fetch for webmail source."
1145   (mail-source-bind (webmail source)
1146     (let ((mail-source-string (format "webmail:%s:%s" subtype user))
1147           (webmail-newmail-only dontexpunge)
1148           (webmail-move-to-trash-can (not dontexpunge)))
1149       (when (eq authentication 'password)
1150         (setq password
1151               (or password
1152                   (cdr (assoc (format "webmail:%s:%s" subtype user)
1153                               mail-source-password-cache))
1154                   (read-passwd
1155                    (format "Password for %s at %s: " user subtype))))
1156         (when (and password
1157                    (not (assoc (format "webmail:%s:%s" subtype user)
1158                                mail-source-password-cache)))
1159           (push (cons (format "webmail:%s:%s" subtype user) password)
1160                 mail-source-password-cache)))
1161       (webmail-fetch mail-source-crash-box subtype user password)
1162       (mail-source-callback callback (symbol-name subtype))
1163       (mail-source-delete-crash-box))))
1164
1165 (provide 'mail-source)
1166
1167 ;;; mail-source.el ends here