*** empty log message ***
[gnus] / lisp / nnfolder.el
index c6bfaed..9c8470e 100644 (file)
@@ -4,7 +4,7 @@
 ;; Author: Scott Byer <byer@mv.us.adobe.com>
 ;;     Lars Magne Ingebrigtsen <larsi@ifi.uio.no>
 ;;     Masanobu UMEDA <umerin@flab.flab.fujitsu.junet>
-;; Keywords: news, mail
+;; Keywords: mail
 
 ;; This file is part of GNU Emacs.
 
 
 (nnoo-declare nnfolder)
 
-(defvoo nnfolder-directory (expand-file-name "~/Mail/")
+(defvoo nnfolder-directory (expand-file-name message-directory)
   "The name of the nnfolder directory.")
 
 (defvoo nnfolder-active-file 
-  (concat (file-name-as-directory nnfolder-directory) "active")
+  (nnheader-concat nnfolder-directory "active")
   "The name of the active file.")
 
 ;; I renamed this variable to something more in keeping with the general GNU
 ;; style. -SLB
 
 (defvoo nnfolder-ignore-active-file nil
-  "If non-nil, causes nnfolder to do some extra work in order to determine the true active ranges of an mbox file.  
-Note that the active file is still saved, but it's values are not
-used.  This costs some extra time when scanning an mbox when opening
-it.")
+  "If non-nil, causes nnfolder to do some extra work in order to determine
+the true active ranges of an mbox file.  Note that the active file is still
+saved, but it's values are not used.  This costs some extra time when 
+scanning an mbox when opening it.")
+
+(defvoo nnfolder-distrust-mbox nil
+  "If non-nil, causes nnfolder to not trust the user with respect to
+inserting unaccounted for mail in the middle of an mbox file.  This can greatly
+slow down scans, which now must scan the entire file for unmarked messages.
+When nil, scans occur forward from the last marked message, a huge
+time saver for large mailboxes.")
 
 (defvoo nnfolder-newsgroups-file 
   (concat (file-name-as-directory nnfolder-directory) "newsgroups")
@@ -66,6 +73,9 @@ it.")
 (defvoo nnfolder-prepare-save-mail-hook nil
   "Hook run narrowed to an article before saving.")
 
+(defvoo nnfolder-save-buffer-hook nil
+  "Hook run before saving the nnfolder mbox buffer.")
+
 (defvoo nnfolder-inhibit-expiry nil
   "If non-nil, inhibit expiry.")
 
@@ -82,7 +92,7 @@ it.")
 (defvoo nnfolder-status-string "")
 (defvoo nnfolder-group-alist nil)
 (defvoo nnfolder-buffer-alist nil)
-(defvoo nnfolder-active-timestamp nil)
+(defvoo nnfolder-scantime-alist nil)
 
 \f
 
@@ -97,41 +107,41 @@ it.")
     (let ((delim-string (concat "^" message-unix-mail-delimiter))
          article art-string start stop)
       (nnfolder-possibly-change-group group server)
-      (set-buffer nnfolder-current-buffer)
-      (goto-char (point-min))
-      (if (stringp (car articles))
-         'headers
-       (while articles
-         (setq article (car articles))
-         (setq art-string (nnfolder-article-string article))
-         (set-buffer nnfolder-current-buffer)
-         (if (or (search-forward art-string nil t)
-                 ;; Don't search the whole file twice!  Also, articles
-                 ;; probably have some locality by number, so searching
-                 ;; backwards will be faster.  Especially if we're at the
-                 ;; beginning of the buffer :-). -SLB
-                 (search-backward art-string nil t))
-             (progn
-               (setq start (or (re-search-backward delim-string nil t)
-                               (point)))
-               (search-forward "\n\n" nil t)
-               (setq stop (1- (point)))
-               (set-buffer nntp-server-buffer)
-               (insert (format "221 %d Article retrieved.\n" article))
-               (insert-buffer-substring nnfolder-current-buffer start stop)
-               (goto-char (point-max))
-               (insert ".\n")))
-         (setq articles (cdr articles)))
-
-       (set-buffer nntp-server-buffer)
-       (nnheader-fold-continuation-lines)
-       'headers))))
+      (when nnfolder-current-buffer
+       (set-buffer nnfolder-current-buffer)
+       (goto-char (point-min))
+       (if (stringp (car articles))
+           'headers
+         (while articles
+           (setq article (car articles))
+           (setq art-string (nnfolder-article-string article))
+           (set-buffer nnfolder-current-buffer)
+           (when (or (search-forward art-string nil t)
+                     ;; Don't search the whole file twice!  Also, articles
+                     ;; probably have some locality by number, so searching
+                     ;; backwards will be faster.  Especially if we're at the
+                     ;; beginning of the buffer :-). -SLB
+                     (search-backward art-string nil t))
+             (setq start (or (re-search-backward delim-string nil t)
+                             (point)))
+             (search-forward "\n\n" nil t)
+             (setq stop (1- (point)))
+             (set-buffer nntp-server-buffer)
+             (insert (format "221 %d Article retrieved.\n" article))
+             (insert-buffer-substring nnfolder-current-buffer start stop)
+             (goto-char (point-max))
+             (insert ".\n"))
+           (setq articles (cdr articles)))
+
+         (set-buffer nntp-server-buffer)
+         (nnheader-fold-continuation-lines)
+         'headers)))))
 
 (deffoo nnfolder-open-server (server &optional defs)
   (nnoo-change-server 'nnfolder server defs)
   (when (not (file-exists-p nnfolder-directory))
     (condition-case ()
-       (make-directory nnfolder-directory t)
+       (gnus-make-directory nnfolder-directory)
       (error t)))
   (cond 
    ((not (file-exists-p nnfolder-directory))
@@ -160,33 +170,33 @@ it.")
   (save-excursion
     (set-buffer nnfolder-current-buffer)
     (goto-char (point-min))
-    (if (search-forward (nnfolder-article-string article) nil t)
-       (let (start stop)
-         (re-search-backward (concat "^" message-unix-mail-delimiter) nil t)
-         (setq start (point))
-         (forward-line 1)
-         (or (and (re-search-forward 
-                   (concat "^" message-unix-mail-delimiter) nil t)
-                  (forward-line -1))
-             (goto-char (point-max)))
-         (setq stop (point))
-         (let ((nntp-server-buffer (or buffer nntp-server-buffer)))
-           (set-buffer nntp-server-buffer)
-           (erase-buffer)
-           (insert-buffer-substring nnfolder-current-buffer start stop)
+    (when (search-forward (nnfolder-article-string article) nil t)
+      (let (start stop)
+       (re-search-backward (concat "^" message-unix-mail-delimiter) nil t)
+       (setq start (point))
+       (forward-line 1)
+       (unless (and (re-search-forward 
+                     (concat "^" message-unix-mail-delimiter) nil t)
+                    (forward-line -1))
+         (goto-char (point-max)))
+       (setq stop (point))
+       (let ((nntp-server-buffer (or buffer nntp-server-buffer)))
+         (set-buffer nntp-server-buffer)
+         (erase-buffer)
+         (insert-buffer-substring nnfolder-current-buffer start stop)
+         (goto-char (point-min))
+         (while (looking-at "From ")
+           (delete-char 5)
+           (insert "X-From-Line: ")
+           (forward-line 1))
+         (if (numberp article)
+             (cons nnfolder-current-group article)
            (goto-char (point-min))
-           (while (looking-at "From ")
-             (delete-char 5)
-             (insert "X-From-Line: ")
-             (forward-line 1))
-           (if (numberp article) 
-               (cons nnfolder-current-group article)
-             (goto-char (point-min))
-             (search-forward (concat "\n" nnfolder-article-marker))
-             (cons nnfolder-current-group
-                   (string-to-int 
-                    (buffer-substring 
-                     (point) (progn (end-of-line) (point)))))))))))
+           (search-forward (concat "\n" nnfolder-article-marker))
+           (cons nnfolder-current-group
+                 (string-to-int 
+                  (buffer-substring 
+                   (point) (progn (end-of-line) (point)))))))))))
 
 (deffoo nnfolder-request-group (group &optional server dont-check)
   (save-excursion
@@ -204,6 +214,8 @@ it.")
          (cond 
           ((null active)
            (nnheader-report 'nnfolder "No such group: %s" group))
+          ((null nnfolder-current-group)
+           (nnheader-report 'nnfolder "Empty group: %s" group))
           (t
            (nnheader-report 'nnfolder "Selected group %s" group)
            (nnheader-insert "211 %d %d %d %s\n" 
@@ -211,7 +223,7 @@ it.")
                             (car range) (cdr range) group))))))))
 
 (deffoo nnfolder-request-scan (&optional group server)
-  (nnfolder-possibly-change-group group server)
+  (nnfolder-possibly-change-group group server t)
   (nnmail-get-new-mail
    'nnfolder 
    (lambda ()
@@ -222,7 +234,7 @@ it.")
               (setq nnfolder-buffer-alist 
                     (delq (car bufs) nnfolder-buffer-alist))
             (set-buffer (nth 1 (car bufs)))
-            (and (buffer-modified-p) (save-buffer))
+            (nnfolder-save-buffer)
             (kill-buffer (current-buffer)))
           (setq bufs (cdr bufs))))))
    nnfolder-directory
@@ -237,12 +249,21 @@ it.")
   ;; Make sure we _had_ the group open.
   (when (or (assoc group nnfolder-buffer-alist)
            (equal group nnfolder-current-group))
-    (nnfolder-possibly-change-group group server)
-    (when nnfolder-current-buffer
+    (let ((inf (assoc group nnfolder-buffer-alist)))
+      (when inf
+       (when nnfolder-current-group
+         (push (list nnfolder-current-group nnfolder-current-buffer)
+               nnfolder-buffer-alist))
+       (setq nnfolder-buffer-alist
+             (delq inf nnfolder-buffer-alist))
+       (setq nnfolder-current-buffer (cadr inf)
+             nnfolder-current-group (car inf))))
+    (when (and nnfolder-current-buffer
+              (buffer-name nnfolder-current-buffer))
       (save-excursion
        (set-buffer nnfolder-current-buffer)
        ;; If the buffer was modified, write the file out now.
-       (and (buffer-modified-p) (save-buffer))
+       (nnfolder-save-buffer)
        ;; If we're shutting the server down, we need to kill the
        ;; buffer and remove it from the open buffer list.  Or, of
        ;; course, if we're trying to minimize our space impact.
@@ -253,7 +274,7 @@ it.")
        nnfolder-current-buffer nil)
   t)
 
-(deffoo nnfolder-request-create-group (group &optional server
+(deffoo nnfolder-request-create-group (group &optional server args)
   (nnfolder-possibly-change-group nil server)
   (nnmail-activate 'nnfolder)
   (when group 
@@ -288,20 +309,20 @@ it.")
       (set-buffer nnfolder-current-buffer)
       (while (and articles is-old)
        (goto-char (point-min))
-       (if (search-forward (nnfolder-article-string (car articles)) nil t)
-           (if (setq is-old
-                     (nnmail-expired-article-p 
-                      newsgroup
-                      (buffer-substring 
-                       (point) (progn (end-of-line) (point))) 
-                      force nnfolder-inhibit-expiry))
-               (progn
-                 (nnheader-message 5 "Deleting article %d..." 
-                                   (car articles) newsgroup)
-                 (nnfolder-delete-mail))
-             (setq rest (cons (car articles) rest))))
+       (when (search-forward (nnfolder-article-string (car articles)) nil t)
+         (if (setq is-old
+                   (nnmail-expired-article-p 
+                    newsgroup
+                    (buffer-substring 
+                     (point) (progn (end-of-line) (point)))
+                    force nnfolder-inhibit-expiry))
+             (progn
+               (nnheader-message 5 "Deleting article %d..." 
+                                 (car articles) newsgroup)
+               (nnfolder-delete-mail))
+           (push (car articles) rest)))
        (setq articles (cdr articles)))
-      (and (buffer-modified-p) (save-buffer))
+      (nnfolder-save-buffer)
       ;; Find the lowest active article in this group.
       (let* ((active (cadr (assoc newsgroup nnfolder-group-alist)))
             (marker (concat "\n" nnfolder-article-marker))
@@ -320,7 +341,6 @@ it.")
 
 (deffoo nnfolder-request-move-article
   (article group server accept-form &optional last)
-  (nnfolder-possibly-change-group group server)
   (let ((buf (get-buffer-create " *nnfolder move*"))
        result)
     (and 
@@ -343,16 +363,16 @@ it.")
        (nnfolder-possibly-change-group group server)
        (set-buffer nnfolder-current-buffer)
        (goto-char (point-min))
-       (if (search-forward (nnfolder-article-string article) nil t)
-          (nnfolder-delete-mail))
-       (and last 
-           (buffer-modified-p)
-           (save-buffer))))
+       (when (search-forward (nnfolder-article-string article) nil t)
+        (nnfolder-delete-mail))
+       (and last (nnfolder-save-buffer))))
     result))
 
 (deffoo nnfolder-request-accept-article (group &optional server last)
   (nnfolder-possibly-change-group group server)
-  (and (stringp group) (nnfolder-possibly-change-group group))
+  (nnmail-check-syntax)
+  (when (stringp group)
+    (nnfolder-possibly-change-group group))
   (let ((buf (current-buffer))
        result)
     (goto-char (point-min))
@@ -367,10 +387,14 @@ it.")
        (forward-line -1)
        (while (re-search-backward (concat "^" nnfolder-article-marker) nil t)
         (delete-region (point) (progn (forward-line 1) (point))))
-       (setq result (car (nnfolder-save-mail (and (stringp group) group)))))
+       (setq result
+            (car (nnfolder-save-mail
+                  (if (stringp group)
+                      (list (cons group (nnfolder-active-number group)))
+                    (nnmail-article-group 'nnfolder-active-number))))))
      (save-excursion
        (set-buffer nnfolder-current-buffer)
-       (and last (buffer-modified-p) (save-buffer))))
+       (and last (nnfolder-save-buffer))))
     (nnmail-save-active nnfolder-group-alist nnfolder-active-file)
     (unless result
       (nnheader-report 'nnfolder "Couldn't store article"))
@@ -385,7 +409,7 @@ it.")
        nil
       (nnfolder-delete-mail t t)
       (insert-buffer-substring buffer)
-      (and (buffer-modified-p) (save-buffer))
+      (nnfolder-save-buffer)
       t)))
 
 (deffoo nnfolder-request-delete-group (group &optional force server)
@@ -453,20 +477,21 @@ it.")
             (match-beginning 0))
         (point-max))))))
 
-(defun nnfolder-possibly-change-group (group &optional server)
+;; When scanning, we're not looking t immediately switch into the group - if
+;; we know our information is up to date, don't even bother reading the file.
+(defun nnfolder-possibly-change-group (group &optional server scanning)
   (when (and server
             (not (nnfolder-server-opened server)))
     (nnfolder-open-server server))
-  (when group
-    (unless (file-exists-p nnfolder-directory)
-      (make-directory (directory-file-name nnfolder-directory) t))
+  (when (and group (or nnfolder-current-buffer
+                      (not (equal group nnfolder-current-group))))
+    (gnus-make-directory (directory-file-name nnfolder-directory))
     (nnfolder-possibly-activate-groups nil)
     (or (assoc group nnfolder-group-alist)
        (not (file-exists-p
              (nnfolder-group-pathname group)))
        (progn
-         (setq nnfolder-group-alist 
-               (cons (list group (cons 1 0)) nnfolder-group-alist))
+         (push (list group (cons 1 0)) nnfolder-group-alist)
          (nnmail-save-active nnfolder-group-alist nnfolder-active-file)))
     (let (inf file)
       (if (and (equal group nnfolder-current-group)
@@ -478,51 +503,48 @@ it.")
        ;; If we have to change groups, see if we don't already have the mbox
        ;; in memory.  If we do, verify the modtime and destroy the mbox if
        ;; needed so we can rescan it.
-       (if (setq inf (assoc group nnfolder-buffer-alist))
-           (setq nnfolder-current-buffer (nth 1 inf)))
+       (when (setq inf (assoc group nnfolder-buffer-alist))
+         (setq nnfolder-current-buffer (nth 1 inf)))
 
        ;; If the buffer is not live, make sure it isn't in the alist.  If it
        ;; is live, verify that nobody else has touched the file since last
        ;; time.
-       (if (or (not (and nnfolder-current-buffer
-                         (buffer-name nnfolder-current-buffer)))
-               (not (and (bufferp nnfolder-current-buffer)
-                         (verify-visited-file-modtime 
-                          nnfolder-current-buffer))))
-           (progn
-             (if (and nnfolder-current-buffer
-                      (buffer-name nnfolder-current-buffer)
-                      (bufferp nnfolder-current-buffer))
-                 (kill-buffer nnfolder-current-buffer))
-             (setq nnfolder-buffer-alist (delq inf nnfolder-buffer-alist))
-             (setq inf nil)))
+       (when (or (not (and nnfolder-current-buffer
+                           (buffer-name nnfolder-current-buffer)))
+                 (not (and (bufferp nnfolder-current-buffer)
+                           (verify-visited-file-modtime 
+                            nnfolder-current-buffer))))
+         (when (and nnfolder-current-buffer
+                    (buffer-name nnfolder-current-buffer)
+                    (bufferp nnfolder-current-buffer))
+           (kill-buffer nnfolder-current-buffer))
+         (setq nnfolder-buffer-alist (delq inf nnfolder-buffer-alist))
+         (setq inf nil))
       
-       (if inf
-           ()
+       (unless inf
          (save-excursion
            (setq file (nnfolder-group-pathname group))
-           (if (file-directory-p (file-truename file))
-               ()
+           (unless (file-directory-p (file-truename file))
              (unless (file-exists-p file)
-               (unless (file-exists-p (file-name-directory file))
-                 (make-directory (file-name-directory file) t))
-               (write-region 1 1 file t 'nomesg))
-             (setq nnfolder-current-buffer 
-                   (set-buffer (nnfolder-read-folder file)))
-             (setq nnfolder-buffer-alist (cons (list group (current-buffer))
-                                               nnfolder-buffer-alist)))))))
+               (gnus-make-directory (file-name-directory file))
+               (nnmail-write-region 1 1 file t 'nomesg))
+             (setq nnfolder-current-buffer
+                   (nnfolder-read-folder file scanning))
+             (when nnfolder-current-buffer 
+               (set-buffer nnfolder-current-buffer)
+               (push (list group nnfolder-current-buffer)
+                     nnfolder-buffer-alist)))))))
     (setq nnfolder-current-group group)))
 
-(defun nnfolder-save-mail (&optional group)
+(defun nnfolder-save-mail (group-art-list)
   "Called narrowed to an article."
-  (let* ((nnmail-split-methods 
-         (if group (list (list group "")) nnmail-split-methods))
-        (group-art-list
-         (nreverse (nnmail-article-group 'nnfolder-active-number)))
-        (delim (concat "^" message-unix-mail-delimiter))
+  (let* ((delim (concat "^" message-unix-mail-delimiter))
         save-list group-art)
     (goto-char (point-min))
-    ;; This might come from somewhere else.
+    ;; The From line may have been quoted by movemail.
+    (when (looking-at (concat ">" message-unix-mail-delimiter))
+      (delete-char 1))
+    ;; This might come from somewhere else.    
     (unless (looking-at delim)
       (insert "From nobody " (current-time-string) "\n")
       (goto-char (point-min)))
@@ -553,6 +575,7 @@ it.")
       ;; Insert the new newsgroup marker.
       (nnfolder-insert-newsgroup-line group-art)
       (unless nnfolder-current-buffer
+       (nnfolder-close-group (car group-art))
        (nnfolder-request-create-group (car group-art))
        (nnfolder-possibly-change-group (car group-art)))
       (let ((beg (point-min))
@@ -560,6 +583,9 @@ it.")
            (obuf (current-buffer)))
        (set-buffer nnfolder-current-buffer)
        (goto-char (point-max))
+       (unless (eolp)
+         (insert "\n"))
+       (insert "\n")
        (insert-buffer-substring obuf beg end)
        (set-buffer obuf)))
 
@@ -569,17 +595,17 @@ it.")
 (defun nnfolder-insert-newsgroup-line (group-art)
   (save-excursion
     (goto-char (point-min))
-    (if (search-forward "\n\n" nil t)
-       (progn
-         (forward-char -1)
-         (insert (format (concat nnfolder-article-marker "%d   %s\n")
-                         (cdr group-art) (current-time-string)))))))
+    (when (search-forward "\n\n" nil t)
+      (forward-char -1)
+      (insert (format (concat nnfolder-article-marker "%d   %s\n")
+                     (cdr group-art) (current-time-string))))))
 
 (defun nnfolder-possibly-activate-groups (&optional group)
   (save-excursion
     ;; If we're looking for the activation of a specific group, find out
     ;; its real name and switch to it.
-    (if group (nnfolder-possibly-change-group group))
+    (when group
+      (nnfolder-possibly-change-group group))
     ;; If the group alist isn't active, activate it now.
     (nnmail-activate 'nnfolder)))
 
@@ -594,9 +620,8 @@ it.")
              ;; This group is new, so we create a new entry for it.
              ;; This might be a bit naughty... creating groups on the drop of
              ;; a hat, but I don't know...
-             (setq nnfolder-group-alist 
-                   (cons (list group (setq active (cons 1 1)))
-                         nnfolder-group-alist)))
+             (push (list group (setq active (cons 1 1)))
+                   nnfolder-group-alist))
            (cdr active))
        (nnmail-save-active nnfolder-group-alist nnfolder-active-file)
        (nnfolder-possibly-activate-groups group)))))
@@ -617,71 +642,100 @@ it.")
 ;; shouldn't cost us much extra time at all, but will be a lot less
 ;; vulnerable to glitches between the mbox and the active file.
 
-(defun nnfolder-read-folder (file)
-  (save-excursion
-    (nnfolder-possibly-activate-groups nil)
-    ;; We should be paranoid here and make sure the group is in the alist,
-    ;; and add it if it isn't.
-    ;;(if (not (assoc nnfoler-current-group nnfolder-group-alist)
-    (set-buffer (setq nnfolder-current-buffer 
-                     (nnheader-find-file-noselect file nil 'raw)))
-    (buffer-disable-undo (current-buffer))
-    (let* ((delim (concat "^" message-unix-mail-delimiter))
-          (marker (concat "\n" nnfolder-article-marker))
-          (number "[0-9]+")
-          (active (cadr (assoc nnfolder-current-group 
-                               nnfolder-group-alist)))
-          ;; Set min to Big Number.
-          (min (max (1- (lsh 1 23)) (1- (lsh 1 24)) (1- (lsh 1 25)))) 
-          (max (cdr active))
-          start end)
-      (goto-char (point-min))
-
-      ;; Anytime the active number is 1 or 0, it is suspect.  In that case,
-      ;; search the file manually to find the active number.  Or, of course,
-      ;; if we're being paranoid.  (This would also be the place to build
-      ;; other lists from the header markers, such as expunge lists, etc., if
-      ;; we ever desired to abandon the active file entirely for mboxes.)
-      (when (or nnfolder-ignore-active-file
-               (< max 2))
-       (while (and (search-forward marker nil t)
-                   (re-search-forward number nil t))
-         (let ((newnum (string-to-number (match-string 0))))
-           (setq max (max max newnum))
-           (setq min (min min newnum))))
-       (setcar active (max 1 (min min max)))
-       (setcdr active (max max (cdr active)))
-       (goto-char (point-min)))
-
-      ;; Keep track of the active number on our own, and insert it back into
-      ;; the active list when we're done. Also, prime the pump to cut down on
-      ;; the number of searches we do.
-      (setq end (point-marker))
-      (set-marker end (or (and (re-search-forward delim nil t)
-                              (match-beginning 0))
-                         (point-max)))
-      (while (not (= end (point-max)))
-       (setq start (marker-position end))
-       (goto-char end)
-       ;; There may be more than one "From " line, so we skip past
-       ;; them.  
-       (while (looking-at delim) 
-         (forward-line 1))
-       (set-marker end (or (and (re-search-forward delim nil t)
-                                (match-beginning 0))
-                           (point-max)))
-       (goto-char start)
-       (if (not (search-forward marker end t))
-           (progn
+(defun nnfolder-read-folder (file &optional scanning)
+  ;; This is an attempt at a serious shortcut - don't even read in the file
+  ;; if we know we've seen it since the last time it was touched.
+  (let ((scantime (cadr (assoc nnfolder-current-group 
+                              nnfolder-scantime-alist)))
+       (modtime (nth 5 (or (file-attributes file) '(nil nil nil nil nil)))))
+    (if (and scanning scantime
+            (eq (car scantime) (car modtime))
+            (eq (cdr scantime) (cadr modtime)))
+       nil
+      (save-excursion
+       (nnfolder-possibly-activate-groups nil)
+       ;; Read in the file.
+       (set-buffer (setq nnfolder-current-buffer 
+                         (nnheader-find-file-noselect file nil 'raw)))
+       (buffer-disable-undo (current-buffer))
+       ;; If the file hasn't been touched since the last time we scanned it,
+       ;; don't bother doing anything with it.
+       (let ((delim (concat "^" message-unix-mail-delimiter))
+             (marker (concat "\n" nnfolder-article-marker))
+             (number "[0-9]+")
+             (active (or (cadr (assoc nnfolder-current-group 
+                                      nnfolder-group-alist))
+                         (cons 1 0)))
+             (scantime (assoc nnfolder-current-group nnfolder-scantime-alist))
+             (minid (lsh -1 -1))
+             maxid start end newscantime)
+
+         (setq maxid (or (cdr active) 0))
+         (goto-char (point-min))
+
+         ;; Anytime the active number is 1 or 0, it is suspect.  In that
+         ;; case, search the file manually to find the active number.  Or,
+         ;; of course, if we're being paranoid.  (This would also be the
+         ;; place to build other lists from the header markers, such as
+         ;; expunge lists, etc., if we ever desired to abandon the active
+         ;; file entirely for mboxes.)
+         (when (or nnfolder-ignore-active-file
+                   (< maxid 2))
+           (while (and (search-forward marker nil t)
+                       (re-search-forward number nil t))
+             (let ((newnum (string-to-number (match-string 0))))
+               (setq maxid (max maxid newnum))
+               (setq minid (min minid newnum))))
+           (setcar active (max 1 (min minid maxid)))
+           (setcdr active (max maxid (cdr active)))
+           (goto-char (point-min)))
+
+         ;; As long as we trust that the user will only insert unmarked mail
+         ;; at the end, go to the end and search backwards for the last
+         ;; marker.  Find the start of that message, and begin to search for
+         ;; unmarked messages from there.
+         (when (not (or nnfolder-distrust-mbox
+                        (< maxid 2)))
+           (goto-char (point-max))
+           (if (not (re-search-backward marker nil t))
+               (goto-char (point-min))
+             (when (not (re-search-backward delim nil t))
+               (goto-char (point-min)))))
+
+         ;; Keep track of the active number on our own, and insert it back
+         ;; into the active list when we're done.  Also, prime the pump to
+         ;; cut down on the number of searches we do.
+         (setq end (point-marker))
+         (set-marker end (or (and (re-search-forward delim nil t)
+                                  (match-beginning 0))
+                             (point-max)))
+         (while (not (= end (point-max)))
+           (setq start (marker-position end))
+           (goto-char end)
+           ;; There may be more than one "From " line, so we skip past
+           ;; them.  
+           (while (looking-at delim)
+             (forward-line 1))
+           (set-marker end (or (and (re-search-forward delim nil t)
+                                    (match-beginning 0))
+                               (point-max)))
+           (goto-char start)
+           (when (not (search-forward marker end t))
              (narrow-to-region start end)
              (nnmail-insert-lines)
              (nnfolder-insert-newsgroup-line
               (cons nil (nnfolder-active-number nnfolder-current-group)))
-             (widen))))
-
-      ;; Make absolutely sure that the active list reflects reality!
-      (nnmail-save-active nnfolder-group-alist nnfolder-active-file)
-      (current-buffer))))
+             (widen)))
+
+         ;; Make absolutely sure that the active list reflects reality!
+         (nnmail-save-active nnfolder-group-alist nnfolder-active-file)
+         ;; Set the scantime for this group.
+         (setq newscantime (visited-file-modtime))
+         (if scantime
+             (setcdr scantime (list newscantime))
+           (push (list nnfolder-current-group newscantime)
+                 nnfolder-scantime-alist))
+         (current-buffer))))))
 
 ;;;###autoload
 (defun nnfolder-generate-active-file ()
@@ -689,13 +743,15 @@ it.")
   (interactive)
   (nnmail-activate 'nnfolder)
   (let ((files (directory-files nnfolder-directory))
-       file)
+        file)
     (while (setq file (pop files))
-      (when (nnheader-mail-file-mbox-p file)
-       (nnheader-message 5 "Adding group %s..." file)
-       (push (list file (cons 1 0)) nnfolder-group-alist)
-       (nnfolder-read-folder file)
-       (nnfolder-close-group file))
+      (when (and (not (backup-file-name-p file))
+                 (nnheader-mail-file-mbox-p
+                 (concat nnfolder-directory file)))
+        (nnheader-message 5 "Adding group %s..." file)
+        (push (list file (cons 1 0)) nnfolder-group-alist)
+        (nnfolder-possibly-change-group file)
+        (nnfolder-close-group file))
       (message ""))))
 
 (defun nnfolder-group-pathname (group)
@@ -708,6 +764,12 @@ it.")
       ;; If not, we translate dots into slashes.
       (concat dir (nnheader-replace-chars-in-string group ?. ?/)))))
 
+(defun nnfolder-save-buffer ()
+  "Save the buffer."
+  (when (buffer-modified-p)
+    (run-hooks 'nnfolder-save-buffer-hook)
+    (save-buffer)))
+
 (provide 'nnfolder)
 
 ;;; nnfolder.el ends here