cgit.sxemacs.org Git - gnus/blob - lisp/mail-source.el

   1 ;;; mail-source.el --- functions for fetching mail
   2
   3 ;; Copyright (C) 1999, 2000, 2001, 2002, 2003, 2004,
   4 ;;   2005, 2006, 2007, 2008 Free Software Foundation, Inc.
   5
   6 ;; Author: Lars Magne Ingebrigtsen <larsi@gnus.org>
   7 ;; Keywords: news, mail
   8
   9 ;; This file is part of GNU Emacs.
  10
  11 ;; GNU Emacs is free software; you can redistribute it and/or modify
  12 ;; it under the terms of the GNU General Public License as published by
  13 ;; the Free Software Foundation; either version 3, or (at your option)
  14 ;; any later version.
  15
  16 ;; GNU Emacs is distributed in the hope that it will be useful,
  17 ;; but WITHOUT ANY WARRANTY; without even the implied warranty of
  18 ;; MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  19 ;; GNU General Public License for more details.
  20
  21 ;; You should have received a copy of the GNU General Public License
  22 ;; along with GNU Emacs; see the file COPYING.  If not, write to the
  23 ;; Free Software Foundation, Inc., 51 Franklin Street, Fifth Floor,
  24 ;; Boston, MA 02110-1301, USA.
  25
  26 ;;; Commentary:
  27
  28 ;;; Code:
  29
  30 ;; For Emacs < 22.2.
  31 (eval-and-compile
  32   (unless (fboundp 'declare-function) (defmacro declare-function (&rest r))))
  33
  34 (require 'format-spec)
  35 (eval-when-compile
  36   (require 'cl)
  37   (require 'imap))
  38 (eval-and-compile
  39   (autoload 'auth-source-user-or-password "auth-source")
  40   (autoload 'pop3-movemail "pop3")
  41   (autoload 'pop3-get-message-count "pop3")
  42   (autoload 'nnheader-cancel-timer "nnheader"))
  43 (require 'mm-util)
  44 (require 'message) ;; for `message-directory'
  45
  46 (defvar display-time-mail-function)
  47
  48 (defgroup mail-source nil
  49   "The mail-fetching library."
  50   :version "21.1"
  51   :group 'gnus)
  52
  53 ;; Define these at compile time to avoid dragging in imap always.
  54 (defconst mail-source-imap-authenticators
  55   (eval-when-compile
  56     (mapcar (lambda (a)
  57               (list 'const (car a)))
  58      imap-authenticator-alist)))
  59 (defconst mail-source-imap-streams
  60   (eval-when-compile
  61     (mapcar (lambda (a)
  62               (list 'const (car a)))
  63      imap-stream-alist)))
  64
  65 (defcustom mail-sources '((file))
  66   "Where the mail backends will look for incoming mail.
  67 This variable is a list of mail source specifiers.
  68 See Info node `(gnus)Mail Source Specifiers'."
  69   :group 'mail-source
  70   :version "23.1" ;; No Gnus
  71   :link '(custom-manual "(gnus)Mail Source Specifiers")
  72   :type `(choice
  73           (const :tag "None" nil)
  74           (repeat :tag "List"
  75            (choice :format "%[Value Menu%] %v"
  76                    :value (file)
  77                    (cons :tag "Group parameter `mail-source'"
  78                          (const :format "" group))
  79                    (cons :tag "Spool file"
  80                          (const :format "" file)
  81                          (checklist :tag "Options" :greedy t
  82                                     (group :inline t
  83                                            (const :format "" :value :path)
  84                                            file)))
  85                    (cons :tag "Several files in a directory"
  86                          (const :format "" directory)
  87                          (checklist :tag "Options" :greedy t
  88                                     (group :inline t
  89                                            (const :format "" :value :path)
  90                                            (directory :tag "Path"))
  91                                     (group :inline t
  92                                            (const :format "" :value :suffix)
  93                                            (string :tag "Suffix"))
  94                                     (group :inline t
  95                                            (const :format "" :value :predicate)
  96                                            (function :tag "Predicate"))
  97                                     (group :inline t
  98                                            (const :format "" :value :prescript)
  99                                            (choice :tag "Prescript"
 100                                                    :value nil
 101                                                    (string :format "%v")
 102                                                    (function :format "%v")))
 103                                     (group :inline t
 104                                            (const :format "" :value :postscript)
 105                                            (choice :tag "Postscript"
 106                                                    :value nil
 107                                                    (string :format "%v")
 108                                                    (function :format "%v")))
 109                                     (group :inline t
 110                                            (const :format "" :value :plugged)
 111                                            (boolean :tag "Plugged"))))
 112                    (cons :tag "POP3 server"
 113                          (const :format "" pop)
 114                          (checklist :tag "Options" :greedy t
 115                                     (group :inline t
 116                                            (const :format "" :value :server)
 117                                            (string :tag "Server"))
 118                                     (group :inline t
 119                                            (const :format "" :value :port)
 120                                            (choice :tag "Port"
 121                                                    :value "pop3"
 122                                                    (integer :format "%v")
 123                                                    (string :format "%v")))
 124                                     (group :inline t
 125                                            (const :format "" :value :user)
 126                                            (string :tag "User"))
 127                                     (group :inline t
 128                                            (const :format "" :value :password)
 129                                            (string :tag "Password"))
 130                                     (group :inline t
 131                                            (const :format "" :value :program)
 132                                            (string :tag "Program"))
 133                                     (group :inline t
 134                                            (const :format "" :value :prescript)
 135                                            (choice :tag "Prescript"
 136                                                    :value nil
 137                                                    (string :format "%v")
 138                                                    (function :format "%v")
 139                                                    (const :tag "None" nil)))
 140                                     (group :inline t
 141                                            (const :format "" :value :postscript)
 142                                            (choice :tag "Postscript"
 143                                                    :value nil
 144                                                    (string :format "%v")
 145                                                    (function :format "%v")
 146                                                    (const :tag "None" nil)))
 147                                     (group :inline t
 148                                            (const :format "" :value :function)
 149                                            (function :tag "Function"))
 150                                     (group :inline t
 151                                            (const :format ""
 152                                                   :value :authentication)
 153                                            (choice :tag "Authentication"
 154                                                    :value apop
 155                                                    (const password)
 156                                                    (const apop)))
 157                                     (group :inline t
 158                                            (const :format "" :value :plugged)
 159                                            (boolean :tag "Plugged"))
 160                                     (group :inline t
 161                                            (const :format "" :value :stream)
 162                                            (choice :tag "Stream"
 163                                                    :value nil
 164                                                    (const :tag "Clear" nil)
 165                                                    (const starttls)
 166                                                    (const :tag "SSL/TLS" ssl)))))
 167                    (cons :tag "Maildir (qmail, postfix...)"
 168                          (const :format "" maildir)
 169                          (checklist :tag "Options" :greedy t
 170                                     (group :inline t
 171                                            (const :format "" :value :path)
 172                                            (directory :tag "Path"))
 173                                     (group :inline t
 174                                            (const :format "" :value :plugged)
 175                                            (boolean :tag "Plugged"))))
 176                    (cons :tag "IMAP server"
 177                          (const :format "" imap)
 178                          (checklist :tag "Options" :greedy t
 179                                     (group :inline t
 180                                            (const :format "" :value :server)
 181                                            (string :tag "Server"))
 182                                     (group :inline t
 183                                            (const :format "" :value :port)
 184                                            (choice :tag "Port"
 185                                                    :value 143
 186                                                    integer string))
 187                                     (group :inline t
 188                                            (const :format "" :value :user)
 189                                            (string :tag "User"))
 190                                     (group :inline t
 191                                            (const :format "" :value :password)
 192                                            (string :tag "Password"))
 193                                     (group :inline t
 194                                            (const :format "" :value :stream)
 195                                            (choice :tag "Stream"
 196                                                    :value network
 197                                                    ,@mail-source-imap-streams))
 198                                     (group :inline t
 199                                            (const :format "" :value :program)
 200                                            (string :tag "Program"))
 201                                     (group :inline t
 202                                            (const :format ""
 203                                                   :value :authenticator)
 204                                            (choice :tag "Authenticator"
 205                                                    :value login
 206                                                    ,@mail-source-imap-authenticators))
 207                                     (group :inline t
 208                                            (const :format "" :value :mailbox)
 209                                            (string :tag "Mailbox"
 210                                                    :value "INBOX"))
 211                                     (group :inline t
 212                                            (const :format "" :value :predicate)
 213                                            (string :tag "Predicate"
 214                                                    :value "UNSEEN UNDELETED"))
 215                                     (group :inline t
 216                                            (const :format "" :value :fetchflag)
 217                                            (string :tag "Fetchflag"
 218                                                    :value  "\\Deleted"))
 219                                     (group :inline t
 220                                            (const :format ""
 221                                                   :value :dontexpunge)
 222                                            (boolean :tag "Dontexpunge"))
 223                                     (group :inline t
 224                                            (const :format "" :value :plugged)
 225                                            (boolean :tag "Plugged"))))
 226                    (cons :tag "Webmail server"
 227                          (const :format "" webmail)
 228                          (checklist :tag "Options" :greedy t
 229                                     (group :inline t
 230                                           (const :format "" :value :subtype)
 231                                           ;; Should be generated from
 232                                           ;; `webmail-type-definition', but we
 233                                           ;; can't require webmail without W3.
 234                                           (choice :tag "Subtype"
 235                                                   :value hotmail
 236                                                   (const hotmail)
 237                                                   (const yahoo)
 238                                                   (const netaddress)
 239                                                   (const netscape)
 240                                                   (const my-deja)))
 241                                     (group :inline t
 242                                            (const :format "" :value :user)
 243                                            (string :tag "User"))
 244                                     (group :inline t
 245                                            (const :format "" :value :password)
 246                                            (string :tag "Password"))
 247                                     (group :inline t
 248                                            (const :format ""
 249                                                   :value :dontexpunge)
 250                                            (boolean :tag "Dontexpunge"))
 251                                     (group :inline t
 252                                            (const :format "" :value :plugged)
 253                                            (boolean :tag "Plugged"))))))))
 254
 255 (defcustom mail-source-ignore-errors nil
 256   "*Ignore errors when querying mail sources.
 257 If nil, the user will be prompted when an error occurs.  If non-nil,
 258 the error will be ignored."
 259   :version "22.1"
 260   :group 'mail-source
 261   :type 'boolean)
 262
 263 (defcustom mail-source-primary-source nil
 264   "*Primary source for incoming mail.
 265 If non-nil, this maildrop will be checked periodically for new mail."
 266   :group 'mail-source
 267   :type 'sexp)
 268
 269 (defcustom mail-source-flash t
 270   "*If non-nil, flash periodically when mail is available."
 271   :group 'mail-source
 272   :type 'boolean)
 273
 274 (defcustom mail-source-crash-box "~/.emacs-mail-crash-box"
 275   "File where mail will be stored while processing it."
 276   :group 'mail-source
 277   :type 'file)
 278
 279 (defcustom mail-source-directory message-directory
 280   "Directory where incoming mail source files (if any) will be stored."
 281   :group 'mail-source
 282   :type 'directory)
 283
 284 (defcustom mail-source-default-file-modes 384
 285   "Set the mode bits of all new mail files to this integer."
 286   :group 'mail-source
 287   :type 'integer)
 288
 289 (defcustom mail-source-delete-incoming
 290   10 ;; development versions
 291   ;; 2 ;; released versions
 292   "If non-nil, delete incoming files after handling.
 293 If t, delete immediately, if nil, never delete.  If a positive number, delete
 294 files older than number of days.
 295
 296 Removing of old files happens in `mail-source-callback', i.e. no
 297 old incoming files will be deleted unless you receive new mail.
 298 You may also set this variable to nil and call
 299 `mail-source-delete-old-incoming' interactively."
 300   :group 'mail-source
 301   :version "22.2" ;; No Gnus / Gnus 5.10.10 (default changed)
 302   :type '(choice (const :tag "immediately" t)
 303                  (const :tag "never" nil)
 304                  (integer :tag "days")))
 305
 306 (defcustom mail-source-delete-old-incoming-confirm nil
 307   "If non-nil, ask for confirmation before deleting old incoming files.
 308 This variable only applies when `mail-source-delete-incoming' is a positive
 309 number."
 310   :version "22.2" ;; No Gnus / Gnus 5.10.10 (default changed)
 311   :group 'mail-source
 312   :type 'boolean)
 313
 314 (defcustom mail-source-incoming-file-prefix "Incoming"
 315   "Prefix for file name for storing incoming mail"
 316   :group 'mail-source
 317   :type 'string)
 318
 319 (defcustom mail-source-report-new-mail-interval 5
 320   "Interval in minutes between checks for new mail."
 321   :group 'mail-source
 322   :type 'number)
 323
 324 (defcustom mail-source-idle-time-delay 5
 325   "Number of idle seconds to wait before checking for new mail."
 326   :group 'mail-source
 327   :type 'number)
 328
 329 (defcustom mail-source-movemail-program nil
 330   "If non-nil, name of program for fetching new mail."
 331   :version "22.1"
 332   :group 'mail-source
 333   :type '(choice (const nil) string))
 334
 335 ;;; Internal variables.
 336
 337 (defvar mail-source-string ""
 338   "A dynamically bound string that says what the current mail source is.")
 339
 340 (defvar mail-source-new-mail-available nil
 341   "Flag indicating when new mail is available.")
 342
 343 (eval-and-compile
 344   (defvar mail-source-common-keyword-map
 345     '((:plugged))
 346     "Mapping from keywords to default values.
 347 Common keywords should be listed here.")
 348
 349   (defvar mail-source-keyword-map
 350     '((file
 351        (:prescript)
 352        (:prescript-delay)
 353        (:postscript)
 354        (:path (or (getenv "MAIL")
 355                   (expand-file-name (user-login-name) rmail-spool-directory))))
 356       (directory
 357        (:prescript)
 358        (:prescript-delay)
 359        (:postscript)
 360        (:path)
 361        (:suffix ".spool")
 362        (:predicate identity))
 363       (pop
 364        (:prescript)
 365        (:prescript-delay)
 366        (:postscript)
 367        (:server (getenv "MAILHOST"))
 368        (:port 110)
 369        (:user (or (user-login-name) (getenv "LOGNAME") (getenv "USER")))
 370        (:program)
 371        (:function)
 372        (:password)
 373        (:authentication password)
 374        (:stream nil))
 375       (maildir
 376        (:path (or (getenv "MAILDIR") "~/Maildir/"))
 377        (:subdirs ("cur" "new"))
 378        (:function))
 379       (imap
 380        (:server (getenv "MAILHOST"))
 381        (:port)
 382        (:stream)
 383        (:program)
 384        (:authentication)
 385        (:user (or (user-login-name) (getenv "LOGNAME") (getenv "USER")))
 386        (:password)
 387        (:mailbox "INBOX")
 388        (:predicate "UNSEEN UNDELETED")
 389        (:fetchflag "\\Deleted")
 390        (:prescript)
 391        (:prescript-delay)
 392        (:postscript)
 393        (:dontexpunge))
 394       (webmail
 395        (:subtype hotmail)
 396        (:user (or (user-login-name) (getenv "LOGNAME") (getenv "USER")))
 397        (:password)
 398        (:dontexpunge)
 399        (:authentication password)))
 400     "Mapping from keywords to default values.
 401 All keywords that can be used must be listed here."))
 402
 403 (defvar mail-source-fetcher-alist
 404   '((file mail-source-fetch-file)
 405     (directory mail-source-fetch-directory)
 406     (pop mail-source-fetch-pop)
 407     (maildir mail-source-fetch-maildir)
 408     (imap mail-source-fetch-imap)
 409     (webmail mail-source-fetch-webmail))
 410   "A mapping from source type to fetcher function.")
 411
 412 (defvar mail-source-password-cache nil)
 413
 414 (defvar mail-source-plugged t)
 415
 416 ;;; Functions
 417
 418 (eval-and-compile
 419   (defun mail-source-strip-keyword (keyword)
 420     "Strip the leading colon off the KEYWORD."
 421     (intern (substring (symbol-name keyword) 1))))
 422
 423 ;; generate a list of variable names paired with nil values
 424 ;; suitable for usage in a `let' form
 425 (eval-and-compile
 426   (defun mail-source-bind-1 (type)
 427     (let* ((defaults (cdr (assq type mail-source-keyword-map)))
 428            default bind)
 429       (while (setq default (pop defaults))
 430         (push (list (mail-source-strip-keyword (car default))
 431                     nil)
 432               bind))
 433       bind)))
 434
 435 (defmacro mail-source-bind (type-source &rest body)
 436   "Return a `let' form that binds all variables in source TYPE.
 437 TYPE-SOURCE is a list where the first element is the TYPE, and
 438 the second variable is the SOURCE.
 439 At run time, the mail source specifier SOURCE will be inspected,
 440 and the variables will be set according to it.  Variables not
 441 specified will be given default values.
 442
 443 The user and password will be loaded from the auth-source values
 444 if those are available.  They override the original user and
 445 password in a second `let' form.
 446
 447 After this is done, BODY will be executed in the scope
 448 of the second `let' form.
 449
 450 The variables bound and their default values are described by
 451 the `mail-source-keyword-map' variable."
 452   `(let* ,(mail-source-bind-1 (car type-source))
 453      (mail-source-set-1 ,(cadr type-source))
 454      (let ((user (or
 455                   (auth-source-user-or-password
 456                    "login"
 457                    server             ; this is "host" in auth-sources
 458                    ',(car type-source))
 459                   user))
 460            (password (or
 461                       (auth-source-user-or-password
 462                        "password"
 463                        server         ; this is "host" in auth-sources
 464                        ',(car type-source))
 465                       password)))
 466        ,@body)))
 467
 468 (put 'mail-source-bind 'lisp-indent-function 1)
 469 (put 'mail-source-bind 'edebug-form-spec '(sexp body))
 470
 471 (defun mail-source-set-1 (source)
 472   (let* ((type (pop source))
 473          (defaults (cdr (assq type mail-source-keyword-map)))
 474          default value keyword)
 475     (while (setq default (pop defaults))
 476       ;; for each default :SYMBOL, set SYMBOL to the plist value for :SYMBOL
 477       ;; using `mail-source-value' to evaluate the plist value
 478       (set (mail-source-strip-keyword (setq keyword (car default)))
 479            (if (setq value (plist-get source keyword))
 480                (mail-source-value value)
 481              (mail-source-value (cadr default)))))))
 482
 483 (eval-and-compile
 484   (defun mail-source-bind-common-1 ()
 485     (let* ((defaults mail-source-common-keyword-map)
 486            default bind)
 487       (while (setq default (pop defaults))
 488         (push (list (mail-source-strip-keyword (car default))
 489                     nil)
 490               bind))
 491       bind)))
 492
 493 (defun mail-source-set-common-1 (source)
 494   (let* ((type (pop source))
 495          (defaults mail-source-common-keyword-map)
 496          (defaults-1 (cdr (assq type mail-source-keyword-map)))
 497          default value keyword)
 498     (while (setq default (pop defaults))
 499       (set (mail-source-strip-keyword (setq keyword (car default)))
 500            (if (setq value (plist-get source keyword))
 501                (mail-source-value value)
 502              (if (setq value (assq  keyword defaults-1))
 503                  (mail-source-value (cadr value))
 504                (mail-source-value (cadr default))))))))
 505
 506 (defmacro mail-source-bind-common (source &rest body)
 507   "Return a `let' form that binds all common variables.
 508 See `mail-source-bind'."
 509   `(let ,(mail-source-bind-common-1)
 510      (mail-source-set-common-1 source)
 511      ,@body))
 512
 513 (put 'mail-source-bind-common 'lisp-indent-function 1)
 514 (put 'mail-source-bind-common 'edebug-form-spec '(sexp body))
 515
 516 (defun mail-source-value (value)
 517   "Return the value of VALUE."
 518   (cond
 519    ;; String
 520    ((stringp value)
 521     value)
 522    ;; Function
 523    ((and (listp value) (symbolp (car value)) (fboundp (car value)))
 524     (eval value))
 525    ;; Just return the value.
 526    (t
 527     value)))
 528
 529 (defun mail-source-fetch (source callback)
 530   "Fetch mail from SOURCE and call CALLBACK zero or more times.
 531 CALLBACK will be called with the name of the file where (some of)
 532 the mail from SOURCE is put.
 533 Return the number of files that were found."
 534   (mail-source-bind-common source
 535     (if (or mail-source-plugged plugged)
 536         (save-excursion
 537           (let ((function (cadr (assq (car source) mail-source-fetcher-alist)))
 538                 (found 0))
 539             (unless function
 540               (error "%S is an invalid mail source specification" source))
 541             ;; If there's anything in the crash box, we do it first.
 542             (when (file-exists-p mail-source-crash-box)
 543               (message "Processing mail from %s..." mail-source-crash-box)
 544               (setq found (mail-source-callback
 545                            callback mail-source-crash-box))
 546               (mail-source-delete-crash-box))
 547             (+ found
 548                (if (or debug-on-quit debug-on-error)
 549                    (funcall function source callback)
 550                  (condition-case err
 551                      (funcall function source callback)
 552                    (error
 553                     (if (and (not mail-source-ignore-errors)
 554                              (not
 555                               (yes-or-no-p
 556                                (format "Mail source %s error (%s).  Continue? "
 557                                        (if (memq ':password source)
 558                                            (let ((s (copy-sequence source)))
 559                                              (setcar (cdr (memq ':password s))
 560                                                      "********")
 561                                              s)
 562                                          source)
 563                                        (cadr err)))))
 564                       (error "Cannot get new mail"))
 565                     0)))))))))
 566
 567 (defun mail-source-delete-old-incoming (&optional age confirm)
 568   "Remove incoming files older than AGE days.
 569 If CONFIRM is non-nil, ask for confirmation before removing a file."
 570   (interactive "P")
 571   (let* ((high2days (/ 65536.0 60 60 24));; convert high bits to days
 572          (low2days  (/ 1.0 65536.0))     ;; convert low bits to days
 573          (diff (if (natnump age) age 30));; fallback, if no valid AGE given
 574          currday files)
 575     (setq files (directory-files
 576                  mail-source-directory t
 577                  (concat "\\`"
 578                          (regexp-quote mail-source-incoming-file-prefix)))
 579           currday (* (car (current-time)) high2days)
 580           currday (+ currday (* low2days (nth 1 (current-time)))))
 581     (while files
 582       (let* ((ffile (car files))
 583              (bfile (gnus-replace-in-string
 584                      ffile "\\`.*/\\([^/]+\\)\\'" "\\1"))
 585              (filetime (nth 5 (file-attributes ffile)))
 586              (fileday (* (car filetime) high2days))
 587              (fileday (+ fileday (* low2days (nth 1 filetime)))))
 588         (setq files (cdr files))
 589         (when (and (> (- currday fileday) diff)
 590                    (if confirm
 591                        (y-or-n-p
 592                         (format "\
 593 Delete old (> %s day(s)) incoming mail file `%s'? " diff bfile))
 594                      (gnus-message 8 "\
 595 Deleting old (> %s day(s)) incoming mail file `%s'." diff bfile)
 596                      t))
 597           (delete-file ffile))))))
 598
 599 (defun mail-source-callback (callback info)
 600   "Call CALLBACK on the mail file.  Pass INFO on to CALLBACK."
 601   (if (or (not (file-exists-p mail-source-crash-box))
 602           (zerop (nth 7 (file-attributes mail-source-crash-box))))
 603       (progn
 604         (when (file-exists-p mail-source-crash-box)
 605           (delete-file mail-source-crash-box))
 606         0)
 607     (funcall callback mail-source-crash-box info)))
 608
 609 (defun mail-source-delete-crash-box ()
 610   (when (file-exists-p mail-source-crash-box)
 611     ;; Delete or move the incoming mail out of the way.
 612     (if (eq mail-source-delete-incoming t)
 613         (delete-file mail-source-crash-box)
 614       (let ((incoming
 615              (mm-make-temp-file
 616               (expand-file-name
 617                mail-source-incoming-file-prefix
 618                mail-source-directory))))
 619         (unless (file-exists-p (file-name-directory incoming))
 620           (make-directory (file-name-directory incoming) t))
 621         (rename-file mail-source-crash-box incoming t)
 622         ;; remove old incoming files?
 623         (when (natnump mail-source-delete-incoming)
 624           (mail-source-delete-old-incoming
 625            mail-source-delete-incoming
 626            mail-source-delete-old-incoming-confirm))))))
 627
 628 (defun mail-source-movemail (from to)
 629   "Move FROM to TO using movemail."
 630   (if (not (file-writable-p to))
 631       (error "Can't write to crash box %s.  Not moving mail" to)
 632     (let ((to (file-truename (expand-file-name to)))
 633           errors result)
 634       (setq to (file-truename to)
 635             from (file-truename from))
 636       ;; Set TO if have not already done so, and rename or copy
 637       ;; the file FROM to TO if and as appropriate.
 638       (cond
 639        ((file-exists-p to)
 640         ;; The crash box exists already.
 641         t)
 642        ((not (file-exists-p from))
 643         ;; There is no inbox.
 644         (setq to nil))
 645        ((zerop (nth 7 (file-attributes from)))
 646         ;; Empty file.
 647         (setq to nil))
 648        (t
 649         ;; If getting from mail spool directory, use movemail to move
 650         ;; rather than just renaming, so as to interlock with the
 651         ;; mailer.
 652         (unwind-protect
 653             (save-excursion
 654               (setq errors (generate-new-buffer " *mail source loss*"))
 655               (let ((default-directory "/"))
 656                 (setq result
 657                       (apply
 658                        'call-process
 659                        (append
 660                         (list
 661                          (or mail-source-movemail-program
 662                              (expand-file-name "movemail" exec-directory))
 663                          nil errors nil from to)))))
 664               (when (file-exists-p to)
 665                 (set-file-modes to mail-source-default-file-modes))
 666               (if (and (or (not (buffer-modified-p errors))
 667                            (zerop (buffer-size errors)))
 668                        (and (numberp result)
 669                             (zerop result)))
 670                   ;; No output => movemail won.
 671                   t
 672                 (set-buffer errors)
 673                 ;; There may be a warning about older revisions.  We
 674                 ;; ignore that.
 675                 (goto-char (point-min))
 676                 (if (search-forward "older revision" nil t)
 677                     t
 678                   ;; Probably a real error.
 679                   (subst-char-in-region (point-min) (point-max) ?\n ?\  )
 680                   (goto-char (point-max))
 681                   (skip-chars-backward " \t")
 682                   (delete-region (point) (point-max))
 683                   (goto-char (point-min))
 684                   (when (looking-at "movemail: ")
 685                     (delete-region (point-min) (match-end 0)))
 686                   ;; Result may be a signal description string.
 687                   (unless (yes-or-no-p
 688                            (format "movemail: %s (%s return).  Continue? "
 689                                    (buffer-string) result))
 690                     (error "%s" (buffer-string)))
 691                   (setq to nil)))))))
 692       (when (and errors
 693                  (buffer-name errors))
 694         (kill-buffer errors))
 695       ;; Return whether we moved successfully or not.
 696       to)))
 697
 698 (defun mail-source-movemail-and-remove (from to)
 699   "Move FROM to TO using movemail, then remove FROM if empty."
 700   (or (not (mail-source-movemail from to))
 701       (not (zerop (nth 7 (file-attributes from))))
 702       (delete-file from)))
 703
 704 (defun mail-source-fetch-with-program (program)
 705   (eq 0 (call-process shell-file-name nil nil nil
 706                       shell-command-switch program)))
 707
 708 (defun mail-source-run-script (script spec &optional delay)
 709   (when script
 710     (if (functionp script)
 711         (funcall script)
 712       (mail-source-call-script
 713        (format-spec script spec))))
 714   (when delay
 715     (sleep-for delay)))
 716
 717 (defun mail-source-call-script (script)
 718   (let ((background nil)
 719         (stderr (get-buffer-create " *mail-source-stderr*"))
 720         result)
 721     (when (string-match "& *$" script)
 722       (setq script (substring script 0 (match-beginning 0))
 723             background 0))
 724     (setq result
 725           (call-process shell-file-name nil background nil
 726                         shell-command-switch script))
 727     (when (and result
 728                (not (zerop result)))
 729       (set-buffer stderr)
 730       (message "Mail source error: %s" (buffer-string)))
 731     (kill-buffer stderr)))
 732
 733 ;;;
 734 ;;; Different fetchers
 735 ;;;
 736
 737 (defun mail-source-fetch-file (source callback)
 738   "Fetcher for single-file sources."
 739   (mail-source-bind (file source)
 740     (mail-source-run-script
 741      prescript (format-spec-make ?t mail-source-crash-box)
 742      prescript-delay)
 743     (let ((mail-source-string (format "file:%s" path)))
 744       (if (mail-source-movemail path mail-source-crash-box)
 745           (prog1
 746               (mail-source-callback callback path)
 747             (mail-source-run-script
 748              postscript (format-spec-make ?t mail-source-crash-box))
 749             (mail-source-delete-crash-box))
 750         0))))
 751
 752 (defun mail-source-fetch-directory (source callback)
 753   "Fetcher for directory sources."
 754   (mail-source-bind (directory source)
 755     (mail-source-run-script
 756      prescript (format-spec-make ?t path) prescript-delay)
 757     (let ((found 0)
 758           (mail-source-string (format "directory:%s" path)))
 759       (dolist (file (directory-files
 760                      path t (concat (regexp-quote suffix) "$")))
 761         (when (and (file-regular-p file)
 762                    (funcall predicate file)
 763                    (mail-source-movemail file mail-source-crash-box))
 764           (incf found (mail-source-callback callback file))
 765           (mail-source-run-script postscript (format-spec-make ?t path))
 766           (mail-source-delete-crash-box)))
 767       found)))
 768
 769 (defun mail-source-fetch-pop (source callback)
 770   "Fetcher for single-file sources."
 771   (mail-source-bind (pop source)
 772     ;; fixme: deal with stream type in format specs
 773     (mail-source-run-script
 774      prescript
 775      (format-spec-make ?p password ?t mail-source-crash-box
 776                        ?s server ?P port ?u user)
 777      prescript-delay)
 778     (let ((from (format "%s:%s:%s" server user port))
 779           (mail-source-string (format "pop:%s@%s" user server))
 780           result)
 781       (when (eq authentication 'password)
 782         (setq password
 783               (or password
 784                   (cdr (assoc from mail-source-password-cache))
 785                   (read-passwd
 786                    (format "Password for %s at %s: " user server)))))
 787       (when server
 788         (setenv "MAILHOST" server))
 789       (setq result
 790             (cond
 791              (program
 792               (mail-source-fetch-with-program
 793                (format-spec
 794                 program