*** empty log message ***
[gnus] / lisp / nnml.el
index d435d57..62ce844 100644 (file)
@@ -1,5 +1,5 @@
 ;;; nnml.el --- mail spool access for Gnus
-;; Copyright (C) 1995 Free Software Foundation, Inc.
+;; Copyright (C) 1995,96 Free Software Foundation, Inc.
 
 ;; Author: Lars Magne Ingebrigtsen <larsi@ifi.uio.no>
 ;;     Masanobu UMEDA <umerin@flab.flab.fujitsu.junet>
@@ -18,8 +18,9 @@
 ;; GNU General Public License for more details.
 
 ;; You should have received a copy of the GNU General Public License
-;; along with GNU Emacs; see the file COPYING.  If not, write to
-;; the Free Software Foundation, 675 Mass Ave, Cambridge, MA 02139, USA.
+;; along with GNU Emacs; see the file COPYING.  If not, write to the
+;; Free Software Foundation, Inc., 59 Temple Place - Suite 330,
+;; Boston, MA 02111-1307, USA.
 
 ;;; Commentary:
 
@@ -31,6 +32,7 @@
 
 (require 'nnheader)
 (require 'nnmail)
+(eval-when-compile (require 'cl))
 
 (defvar nnml-directory "~/Mail/"
   "Mail spool directory.")
@@ -64,10 +66,14 @@ all. This may very well take some time.")
 (defvar nnml-nov-file-name ".overview")
 
 (defvar nnml-current-directory nil)
+(defvar nnml-current-group nil)
 (defvar nnml-status-string "")
 (defvar nnml-nov-buffer-alist nil)
 (defvar nnml-group-alist nil)
 (defvar nnml-active-timestamp nil)
+(defvar nnml-article-file-alist nil)
+
+(defvar nnml-generate-active-function 'nnml-generate-active-info)
 
 \f
 
@@ -76,24 +82,24 @@ all. This may very well take some time.")
 (defvar nnml-current-server nil)
 (defvar nnml-server-alist nil)
 (defvar nnml-server-variables 
-  (list 
-   (list 'nnml-directory nnml-directory)
-   (list 'nnml-active-file nnml-active-file)
-   (list 'nnml-newsgroups-file nnml-newsgroups-file)
-   (list 'nnml-get-new-mail nnml-get-new-mail)
-   (list 'nnml-nov-is-evil nnml-nov-is-evil)
-   (list 'nnml-nov-file-name nnml-nov-file-name)
-   '(nnml-current-directory nil)
-   '(nnml-status-string "")
-   '(nnml-nov-buffer-alist nil)
-   '(nnml-group-alist nil)
-   '(nnml-active-timestamp nil)))
+  `((nnml-directory ,nnml-directory)
+    (nnml-active-file ,nnml-active-file)
+    (nnml-newsgroups-file ,nnml-newsgroups-file)
+    (nnml-get-new-mail ,nnml-get-new-mail)
+    (nnml-nov-is-evil ,nnml-nov-is-evil)
+    (nnml-nov-file-name ,nnml-nov-file-name)
+    (nnml-current-directory nil)
+    (nnml-current-group nil)
+    (nnml-status-string "")
+    (nnml-nov-buffer-alist nil)
+    (nnml-group-alist nil)
+    (nnml-active-timestamp nil)))
 
 \f
 
 ;;; Interface functions.
 
-(defun nnml-retrieve-headers (sequence &optional newsgroup server)
+(defun nnml-retrieve-headers (sequence &optional newsgroup server fetch-old)
   (save-excursion
     (set-buffer nntp-server-buffer)
     (erase-buffer)
@@ -104,12 +110,17 @@ all. This may very well take some time.")
       (if (stringp (car sequence))
          'headers
        (nnml-possibly-change-directory newsgroup)
-       (if (nnml-retrieve-headers-with-nov sequence)
+       (unless nnml-article-file-alist
+         (setq nnml-article-file-alist
+               (nnheader-article-to-file-alist nnml-current-directory)))
+       (if (nnml-retrieve-headers-with-nov sequence fetch-old)
            'nov
          (while sequence
            (setq article (car sequence))
-           (setq file
-                 (concat nnml-current-directory (int-to-string article)))
+           (setq file 
+                 (concat nnml-current-directory 
+                         (or (cdr (assq article nnml-article-file-alist))
+                             "")))
            (if (and (file-exists-p file)
                     (not (file-directory-p file)))
                (progn
@@ -128,39 +139,37 @@ all. This may very well take some time.")
            (and (numberp nnmail-large-newsgroup)
                 (> number nnmail-large-newsgroup)
                 (zerop (% count 20))
-                gnus-verbose-backends
-                (message "nnml: Receiving headers... %d%%"
-                         (/ (* count 100) number))))
+                (nnheader-message 6 "nnml: Receiving headers... %d%%"
+                                  (/ (* count 100) number))))
 
          (and (numberp nnmail-large-newsgroup)
               (> number nnmail-large-newsgroup)
-              gnus-verbose-backends
-              (message "nnml: Receiving headers...done"))
+              (nnheader-message 6 "nnml: Receiving headers...done"))
 
-         ;; Fold continuation lines.
-         (goto-char (point-min))
-         (while (re-search-forward "\\(\r?\n[ \t]+\\)+" nil t)
-           (replace-match " " t t))
+         (nnheader-fold-continuation-lines)
          'headers)))))
 
 (defun nnml-open-server (server &optional defs)
-  (nnheader-init-server-buffer)
-  (if (equal server nnml-current-server)
-      t
-    (if nnml-current-server
-       (setq nnml-server-alist 
-             (cons (list nnml-current-server
-                         (nnheader-save-variables nnml-server-variables))
-                   nnml-server-alist)))
-    (let ((state (assoc server nnml-server-alist)))
-      (if state 
-         (progn
-           (nnheader-restore-variables (nth 1 state))
-           (setq nnml-server-alist (delq state nnml-server-alist)))
-       (nnheader-set-init-variables nnml-server-variables defs)))
-    (setq nnml-current-server server)))
+  (nnheader-change-server 'nnml server defs)
+  (when (not (file-exists-p nnml-directory))
+    (condition-case ()
+       (make-directory nnml-directory t)
+      (error t)))
+  (cond 
+   ((not (file-exists-p nnml-directory))
+    (nnml-close-server)
+    (nnheader-report 'nnml "Couldn't create directory: %s" nnml-directory))
+   ((not (file-directory-p (file-truename nnml-directory)))
+    (nnml-close-server)
+    (nnheader-report 'nnml "Not a directory: %s" nnml-directory))
+   (t
+    (nnheader-report 'nnml "Opened server %s using directory %s"
+                    server nnml-directory)
+    t)))
 
 (defun nnml-close-server (&optional server)
+  (setq nnml-current-server nil
+       nnml-group-alist nil)
   t)
 
 (defun nnml-server-opened (&optional server)
@@ -173,35 +182,61 @@ all. This may very well take some time.")
 
 (defun nnml-request-article (id &optional newsgroup server buffer)
   (nnml-possibly-change-directory newsgroup)
-  (let ((file (if (stringp id)
-                 nil
-               (concat nnml-current-directory (int-to-string id))))
-       (nntp-server-buffer (or buffer nntp-server-buffer)))
-    (if (and (stringp file)
-            (file-exists-p file)
-            (not (file-directory-p file)))
-       (save-excursion
-         (nnmail-find-file file)))))
+  (let* ((nntp-server-buffer (or buffer nntp-server-buffer))
+        file path gpath group-num)
+    (if (stringp id)
+       (when (and (setq group-num (nnml-find-group-number id))
+                  (setq file (cdr
+                              (assq (cdr group-num) 
+                                    (nnheader-article-to-file-alist
+                                     (setq gpath
+                                           (nnmail-group-pathname
+                                            (car group-num) 
+                                            nnml-directory)))))))
+         (setq path (concat gpath (int-to-string (cdr group-num)))))
+      (unless nnml-article-file-alist
+       (setq nnml-article-file-alist
+             (nnheader-article-to-file-alist nnml-current-directory)))
+      (when (setq file (cdr (assq id nnml-article-file-alist)))
+       (setq path (concat nnml-current-directory file))))
+    (cond 
+     ((not path)
+      (nnheader-report 'nnml "No such article: %s" id))
+     ((not (file-exists-p path))
+      (nnheader-report 'nnml "No such file: %s" path))
+     ((file-directory-p path)
+      (nnheader-report 'nnml "File is a directory: %s" path))
+     ((not (save-excursion (nnmail-find-file path)))
+      (nnheader-report 'nnml "Couldn't read file: %s" path))
+     (t
+      (nnheader-report 'nnml "Article %s retrieved" id)
+      ;; We return the article number.
+      (cons newsgroup (string-to-int (file-name-nondirectory path)))))))
 
 (defun nnml-request-group (group &optional server dont-check)
-  (if (not (nnml-possibly-change-directory group))
-      (progn
-       (setq nnml-status-string "Invalid group (no such directory)")
-       nil)
-    (if dont-check 
-       t
-      (nnml-get-new-mail group)
-      (nnmail-activate 'nnml)
-      (let ((active (nth 1 (assoc group nnml-group-alist))))
-       (save-excursion
-         (set-buffer nntp-server-buffer)
-         (erase-buffer)
-         (if (not active)
-             ()
-           (insert (format "211 %d %d %d %s\n" 
-                           (max (1+ (- (cdr active) (car active))) 0)
-                           (car active) (cdr active) group))
-           t))))))
+  (cond 
+   ((not (nnml-possibly-change-directory group))
+    (nnheader-report 'nnml "Invalid group (no such directory)"))
+   (dont-check 
+    (nnheader-report 'nnml "Group %s selected" group)
+    t)
+   (t
+    (nnmail-activate 'nnml)
+    (let ((active (nth 1 (assoc group nnml-group-alist))))
+      (save-excursion
+       (set-buffer nntp-server-buffer)
+       (erase-buffer)
+       (if (not active)
+           (nnheader-report 'nnml "No such group: %s" group)
+         (insert (format "211 %d %d %d %s\n" 
+                         (max (1+ (- (cdr active) (car active))) 0)
+                         (car active) (cdr active) group))
+         (nnheader-report 'nnml "Group %s selected" group)
+         t))))))
+
+(defun nnml-request-scan (&optional group server)
+  (setq nnml-article-file-alist nil)
+  (nnmail-get-new-mail 'nnml 'nnml-save-nov nnml-directory group))
 
 (defun nnml-close-group (group &optional server)
   t)
@@ -219,11 +254,8 @@ all. This may very well take some time.")
                                     nnml-group-alist))
        (nnml-possibly-create-directory group)
        (nnml-possibly-change-directory group)
-       (let ((articles (mapcar
-                        (lambda (file)
-                          (string-to-int file))
-                        (directory-files 
-                         nnml-current-directory nil "^[0-9]+$"))))
+       (let ((articles 
+              (nnheader-directory-articles nnml-current-directory )))
          (and articles
               (progn
                 (setcar active (apply 'min articles))
@@ -232,7 +264,6 @@ all. This may very well take some time.")
   t)
 
 (defun nnml-request-list (&optional server)
-  (if server (nnml-get-new-mail))
   (save-excursion
     (nnmail-find-file nnml-active-file)
     (setq nnml-group-alist (nnmail-get-active))))
@@ -247,54 +278,42 @@ all. This may very well take some time.")
 (defun nnml-request-post (&optional server)
   (mail-send-and-exit nil))
 
-(defalias 'nnml-request-post-buffer 'nnmail-request-post-buffer)
-
 (defun nnml-request-expire-articles (articles newsgroup &optional server force)
   (nnml-possibly-change-directory newsgroup)
-  (let* ((days (or (and nnmail-expiry-wait-function
-                       (funcall nnmail-expiry-wait-function newsgroup))
-                  nnmail-expiry-wait))
-        (active-articles 
-         (mapcar
-          (function
-           (lambda (name)
-             (string-to-int name)))
-          (directory-files nnml-current-directory nil "^[0-9]+$" t)))
+  (let* ((active-articles 
+         (nnheader-directory-articles nnml-current-directory))
         (max-article (and active-articles (apply 'max active-articles)))
         (is-old t)
-        article rest mod-time)
+        article rest mod-time number)
     (nnmail-activate 'nnml)
 
+    (unless nnml-article-file-alist
+      (setq nnml-article-file-alist
+           (nnheader-article-to-file-alist nnml-current-directory)))
+
     (while (and articles is-old)
       (setq article (concat nnml-current-directory 
-                           (int-to-string (car articles))))
-      (if (setq mod-time (nth 5 (file-attributes article)))
-         (if (and (or (not nnmail-keep-last-article)
-                      (not max-article)
-                      (not (= (car articles) max-article)))
-                  (or force
-                      (and (not (equal mod-time '(0 0)))
-                           (setq is-old
-                                 (> (nnmail-days-between
-                                     (current-time-string)
-                                     (current-time-string mod-time))
-                                    days)))))
-             (progn
-               (and gnus-verbose-backends 
-                    (message "Deleting article %s..." article))
-               (condition-case ()
-                   (delete-file article)
-                 (file-error
-                  (setq rest (cons (car articles) rest))))
-               (setq active-articles (delq (car articles) active-articles))
-               (nnml-nov-delete-article newsgroup (car articles)))
-           (setq rest (cons (car articles) rest))))
-      (setq articles (cdr articles)))
+                           (int-to-string 
+                            (setq number (pop articles)))))
+      (when (setq mod-time (nth 5 (file-attributes article)))
+       (if (and (nnml-deletable-article-p newsgroup number)
+                (setq is-old 
+                      (nnmail-expired-article-p newsgroup mod-time force)))
+           (progn
+             (nnheader-message 5 "Deleting article %s in %s..."
+                               article newsgroup)
+             (condition-case ()
+                 (funcall nnmail-delete-file-function article)
+               (file-error
+                (push number rest)))
+             (setq active-articles (delq number active-articles))
+             (nnml-nov-delete-article newsgroup number))
+         (push number rest))))
     (let ((active (nth 1 (assoc newsgroup nnml-group-alist))))
-      (and active
-          (setcar active (or (and active-articles
-                                  (apply 'min active-articles))
-                             0)))
+      (when active
+       (setcar active (or (and active-articles
+                               (apply 'min active-articles))
+                          (1+ (cdr active)))))
       (nnmail-save-active nnml-group-alist nnml-active-file))
     (nnml-save-nov)
     (message "")
@@ -304,7 +323,12 @@ all. This may very well take some time.")
   (article group server accept-form &optional last)
   (let ((buf (get-buffer-create " *nnml move*"))
        result)
+    (nnml-possibly-change-directory group)
+    (unless nnml-article-file-alist
+      (setq nnml-article-file-alist
+           (nnheader-article-to-file-alist nnml-current-directory)))
     (and 
+     (nnml-deletable-article-p group article)
      (nnml-request-article article group server)
      (save-excursion
        (set-buffer buf)
@@ -314,8 +338,9 @@ all. This may very well take some time.")
        result)
      (progn
        (condition-case ()
-          (delete-file (concat nnml-current-directory 
-                               (int-to-string article)))
+          (funcall nnmail-delete-file-function
+                   (concat nnml-current-directory 
+                           (int-to-string article)))
         (file-error nil))
        (nnml-nov-delete-article group article)
        (and last (nnml-save-nov))))
@@ -327,7 +352,7 @@ all. This may very well take some time.")
        (and 
         (nnmail-activate 'nnml)
         ;; We trick the choosing function into believing that only one
-        ;; group is availiable.  
+        ;; group is available.  
         (let ((nnmail-split-methods (list (list group ""))))
           (setq result (car (nnml-save-mail))))
         (progn
@@ -351,7 +376,7 @@ all. This may very well take some time.")
                   (write-region (point-min) (point-max)
                                 (concat nnml-current-directory 
                                         (int-to-string article))
-                                nil (if gnus-verbose-backends nil 'nomesg))
+                                nil (if (nnheader-be-verbose 5) nil 'nomesg))
                   t)
               (error nil)))
        ()
@@ -382,11 +407,112 @@ all. This may very well take some time.")
          (nnml-save-nov)
          t)))))
 
+(defun nnml-request-delete-group (group &optional force server)
+  (nnml-possibly-change-directory group)
+  (when force
+    ;; Delete all articles in GROUP.
+    (let ((articles 
+          (directory-files 
+           nnml-current-directory t
+           (concat nnheader-numerical-short-files
+                   "\\|" (regexp-quote nnml-nov-file-name) "$")))
+         article)
+      (while articles 
+       (setq article (pop articles))
+       (when (file-writable-p article)
+         (nnheader-message 5 "Deleting article %s in %s..." article group)
+         (funcall nnmail-delete-file-function article))))
+    ;; Try to delete the directory itself.
+    (condition-case ()
+       (delete-directory nnml-current-directory)
+      (error nil)))
+  ;; Remove the group from all structures.
+  (setq nnml-group-alist 
+       (delq (assoc group nnml-group-alist) nnml-group-alist)
+       nnml-current-group nil
+       nnml-current-directory nil)
+  ;; Save the active file.
+  (nnmail-save-active nnml-group-alist nnml-active-file)
+  t)
 
-\f
-;;; Internal functions
+(defun nnml-request-rename-group (group new-name &optional server)
+  (nnml-possibly-change-directory group)
+  ;; Rename directory.
+  (and (file-writable-p nnml-current-directory)
+       (condition-case ()
+          (progn
+            (rename-file 
+             (directory-file-name nnml-current-directory)
+             (directory-file-name 
+              (nnmail-group-pathname new-name nnml-directory)))
+            t)
+        (error nil))
+       ;; That went ok, so we change the internal structures.
+       (let ((entry (assoc group nnml-group-alist)))
+        (and entry (setcar entry new-name))
+        (setq nnml-current-directory nil
+              nnml-current-group nil)
+        ;; Save the new group alist.
+        (nnmail-save-active nnml-group-alist nnml-active-file)
+        t)))
 
-(defun nnml-retrieve-headers-with-nov (articles)
+\f
+;;; Internal functions.
+
+(defun nnml-deletable-article-p (group article)
+  "Say whether ARTICLE in GROUP can be deleted."
+  (let (file path)
+    (when (setq file (cdr (assq article nnml-article-file-alist)))
+      (setq path (concat nnml-current-directory file))
+      (and (file-writable-p path)
+          (or (not nnmail-keep-last-article)
+              (not (eq (cdr (nth 1 (assoc group nnml-group-alist))) 
+                       article)))))))
+
+;; Find an article number in the current group given the Message-ID. 
+(defun nnml-find-group-number (id)
+  (save-excursion
+    (set-buffer (get-buffer-create " *nnml id*"))
+    (buffer-disable-undo (current-buffer))
+    (let ((alist nnml-group-alist)
+         number)
+      ;; We want to look through all .overview files, but we want to
+      ;; start with the one in the current directory.  It seems most
+      ;; likely that the article we are looking for is in that group. 
+      (if (setq number (nnml-find-id nnml-current-group id))
+         (cons nnml-current-group number)
+       ;; It wasn't there, so we look through the other groups as well.
+       (while (and (not number)
+                   alist)
+         (or (string= (car (car alist)) nnml-current-group)
+             (setq number (nnml-find-id (car (car alist)) id)))
+         (or number
+             (setq alist (cdr alist))))
+       (and number
+            (cons (car (car alist)) number))))))
+
+(defun nnml-find-id (group id)
+  (erase-buffer)
+  (insert-file-contents 
+   (concat (nnmail-group-pathname group nnml-directory)
+          nnml-nov-file-name))
+  (let (number found)
+    (while (and (not found) 
+               (search-forward id nil t)) ; We find the ID.
+      ;; And the id is in the fourth field.
+      (if (search-backward 
+          "\t" (save-excursion (beginning-of-line) (point)) t 4)
+         (progn
+           (beginning-of-line)
+           (setq found t)
+           ;; We return the article number.
+           (setq number
+                 (condition-case ()
+                     (read (current-buffer))
+                   (error nil))))))
+    number))
+
+(defun nnml-retrieve-headers-with-nov (articles &optional fetch-old)
   (if (or gnus-nov-is-evil nnml-nov-is-evil)
       nil
     (let ((first (car articles))
@@ -398,34 +524,41 @@ all. This may very well take some time.")
            (set-buffer nntp-server-buffer)
            (erase-buffer)
            (insert-file-contents nov)
-           (goto-char (point-min))
-           (while (and (not (eobp)) (< first (read (current-buffer))))
-             (forward-line 1))
-           (beginning-of-line)
-           (if (not (eobp)) (delete-region 1 (point)))
-           (while (and (not (eobp)) (>= last (read (current-buffer))))
-             (forward-line 1))
-           (beginning-of-line)
-           (if (not (eobp)) (delete-region (point) (point-max)))
-           t)))))
-
-(defun nnml-possibly-change-directory (newsgroup &optional force)
-  (if newsgroup
-      (let ((pathname (nnmail-article-pathname newsgroup nnml-directory)))
-       (and (or force (file-directory-p pathname))
-            (setq nnml-current-directory pathname)))
-    t))
+           (if (and fetch-old
+                    (not (numberp fetch-old)))
+               t                       ; Don't remove anything.
+             (if fetch-old
+                 (setq first (max 1 (- first fetch-old))))
+             (goto-char (point-min))
+             (while (and (not (eobp)) (< first (read (current-buffer))))
+               (forward-line 1))
+             (beginning-of-line)
+             (if (not (eobp)) (delete-region 1 (point)))
+             (while (and (not (eobp)) (>= last (read (current-buffer))))
+               (forward-line 1))
+             (beginning-of-line)
+             (if (not (eobp)) (delete-region (point) (point-max)))
+             t))))))
+
+(defun nnml-possibly-change-directory (group &optional force)
+  (when group
+    (let ((pathname (nnmail-group-pathname group nnml-directory)))
+      (when (or force
+               (not (equal pathname nnml-current-directory)))
+       (setq nnml-current-directory pathname
+             nnml-current-group group
+             nnml-article-file-alist nil))))
+  t)
 
 (defun nnml-possibly-create-directory (group)
   (let (dir dirs)
-    (setq dir (nnmail-article-pathname group nnml-directory))
+    (setq dir (nnmail-group-pathname group nnml-directory))
     (while (not (file-directory-p dir))
       (setq dirs (cons dir dirs))
       (setq dir (file-name-directory (directory-file-name dir))))
     (while dirs
       (make-directory (directory-file-name (car dirs)))
-      (and gnus-verbose-backends 
-          (message "Creating mail directory %s" (car dirs)))
+      (nnheader-message 5 "Creating mail directory %s" (car dirs))
       (setq dirs (cdr dirs)))))
             
 (defun nnml-save-mail ()
@@ -444,15 +577,15 @@ all. This may very well take some time.")
          first)
       (while ga
        (nnml-possibly-create-directory (car (car ga)))
-       (let ((file (concat (nnmail-article-pathname 
+       (let ((file (concat (nnmail-group-pathname 
                             (car (car ga)) nnml-directory)
                            (int-to-string (cdr (car ga))))))
          (if first
              ;; It was already saved, so we just make a hard link.
-             (add-name-to-file first file t)
+             (funcall nnmail-crosspost-link-function first file t)
            ;; Save the article.
            (write-region (point-min) (point-max) file nil 
-                         (if gnus-verbose-backends nil 'nomesg))
+                         (if (nnheader-be-verbose 5) nil 'nomesg))
            (setq first file)))
        (setq ga (cdr ga))))
     ;; Generate a nov line for this article. We generate the nov
@@ -477,53 +610,11 @@ all. This may very well take some time.")
          (setq nnml-group-alist (cons (list group active) nnml-group-alist))))
     (setcdr active (1+ (cdr active)))
     (while (file-exists-p
-           (concat (nnmail-article-pathname group nnml-directory)
+           (concat (nnmail-group-pathname group nnml-directory)
                    (int-to-string (cdr active))))
       (setcdr active (1+ (cdr active))))
     (cdr active)))
 
-(defun nnml-get-new-mail (&optional group)
-  "Read new incoming mail."
-  (let* ((spools (nnmail-get-spool-files group))
-        (group-in group)
-        incoming incomings)
-    (if (or (not nnml-get-new-mail) (not nnmail-spool-file))
-       ()
-      ;; We first activate all the groups.
-      (nnmail-activate 'nnml)
-      ;; The we go through all the existing spool files and split the
-      ;; mail from each.
-      (while spools
-       (and
-        (file-exists-p (car spools))
-        (> (nth 7 (file-attributes (car spools))) 0)
-        (progn
-          (and gnus-verbose-backends 
-               (message "nnml: Reading incoming mail..."))
-          (setq incoming 
-                (nnmail-move-inbox 
-                 (car spools) (concat nnml-directory "Incoming")))
-          (setq group (nnmail-get-split-group (car spools) group-in))
-          (nnmail-split-incoming incoming 'nnml-save-mail nil group)
-          (setq incomings (cons incoming incomings))))
-       (setq spools (cdr spools)))
-      ;; If we did indeed read any incoming spools, we save all info. 
-      (if incoming 
-         (progn
-           (nnmail-save-active nnml-group-alist nnml-active-file)
-           (nnml-save-nov)
-           (run-hooks 'nnmail-read-incoming-hook)
-           (and gnus-verbose-backends
-                (message "nnml: Reading incoming mail...done"))))
-      (while incomings
-       (setq incoming (car incomings))
-       (and nnmail-delete-incoming
-            (file-exists-p incoming)
-            (file-writable-p incoming)
-            (delete-file incoming))
-       (setq incomings (cdr incomings))))))
-
-
 (defun nnml-add-nov (group article line)
   "Add a nov line for the GROUP base."
   (save-excursion 
@@ -532,7 +623,7 @@ all. This may very well take some time.")
     (insert (int-to-string article) line)))
 
 (defsubst nnml-header-value ()
-  (buffer-substring (match-end 0) (save-excursion (end-of-line) (point))))
+  (buffer-substring (match-end 0) (progn (end-of-line) (point))))
 
 (defun nnml-make-nov-line (chars)
   "Create a nov from the current headers."
@@ -562,7 +653,8 @@ all. This may very well take some time.")
             ((eq char ?f)
              (setq from (nnml-header-value)))
             ((eq char ?x)
-             (setq xref (nnml-header-value)))
+             (setq xref (buffer-substring (match-beginning 0) 
+                                          (progn (end-of-line) (point)))))
             ((eq char ?l)
              (setq lines (nnml-header-value)))
             ((eq char ?d)
@@ -583,20 +675,16 @@ all. This may very well take some time.")
                                (match-end 0)))))
        ;; [number subject from date id references chars lines xref]
        (format "\t%s\t%s\t%s\t%s\t%s\t%d\t%s\t%s\t\n"
-               (or subject "(none)")
-               (or from "(nobody)") (or date "")
-               (or id (concat "nnml-dummy-id-" 
-                              (mapconcat 
-                               (lambda (time) (int-to-string time))
-                               (current-time) "-")))
-               (or references "")
-               (or chars 0) (or lines "0") (or xref ""))))))
+               (or subject "(none)") (or from "(nobody)") (or date "")
+               (or id (nnmail-message-id))
+               (or references "") (or chars 0) (or lines "0") 
+               (or xref ""))))))
 
 (defun nnml-open-nov (group)
   (or (cdr (assoc group nnml-nov-buffer-alist))
       (let ((buffer (find-file-noselect 
-                    (concat (nnmail-article-pathname 
-                             group nnml-directory) nnml-nov-file-name))))
+                    (concat (nnmail-group-pathname group nnml-directory)
+                            nnml-nov-file-name))))
        (save-excursion
          (set-buffer buffer)
          (buffer-disable-undo (current-buffer)))
@@ -607,85 +695,103 @@ all. This may very well take some time.")
 (defun nnml-save-nov ()
   (save-excursion
     (while nnml-nov-buffer-alist
-      (if (buffer-name (cdr (car nnml-nov-buffer-alist)))
-         (progn
-           (set-buffer (cdr (car nnml-nov-buffer-alist)))
-           (and (buffer-modified-p)
-                (write-region 
-                 1 (point-max) (buffer-file-name) nil 'nomesg))
-           (set-buffer-modified-p nil)
-           (kill-buffer (current-buffer))))
+      (when (buffer-name (cdr (car nnml-nov-buffer-alist)))
+       (set-buffer (cdr (car nnml-nov-buffer-alist)))
+       (and (buffer-modified-p)
+            (write-region 
+             1 (point-max) (buffer-file-name) nil 'nomesg))
+       (set-buffer-modified-p nil)
+       (kill-buffer (current-buffer)))
       (setq nnml-nov-buffer-alist (cdr nnml-nov-buffer-alist)))))
 
 ;;;###autoload
-(defun nnml-generate-nov-databases (dir)
-  "Generate nov databases in all nnml mail newsgroups."
-  (interactive 
-   (progn   
-     (setq nnml-group-alist nil)
-     (list nnml-directory)))
+(defun nnml-generate-nov-databases ()
+  "Generate nov databases in all nnml directories."
+  (interactive)
+  ;; Read the active file to make sure we don't re-use articles 
+  ;; numbers in empty groups.
+  (nnmail-activate 'nnml)
   (nnml-open-server (or nnml-current-server ""))
-  (let ((dirs (directory-files dir t nil t)))
+  (setq nnml-directory (expand-file-name nnml-directory))
+  ;; Recurse down the directories.
+  (nnml-generate-nov-databases-1 nnml-directory)
+  ;; Save the active file.
+  (nnmail-save-active nnml-group-alist nnml-active-file))
+
+(defun nnml-generate-nov-databases-1 (dir)
+  (setq dir (file-name-as-directory dir))
+  ;; We descend recursively 
+  (let ((dirs (directory-files dir t nil t))
+       dir)
     (while dirs 
-      (if (and (not (string-match "/\\.\\.$" (car dirs)))
-              (not (string-match "/\\.$" (car dirs)))
-              (file-directory-p (car dirs)))
-         (nnml-generate-nov-databases (car dirs)))
-      (setq dirs (cdr dirs))))
+      (setq dir (pop dirs))
+      (when (and (not (string-match "/\\.\\.?$" dir))
+                (file-directory-p dir))
+       (nnml-generate-nov-databases-1 dir))))
+  ;; Do this directory.
   (let ((files (sort
                (mapcar
-                (function
-                 (lambda (name)
-                   (string-to-int name)))
+                (lambda (name) (string-to-int name))
                 (directory-files dir nil "^[0-9]+$" t))
-               (function <)))
-       (nov (concat dir "/" nnml-nov-file-name))
-       (nov-buffer (get-buffer-create "*nov*"))
-       nov-line chars)
-    (if files
-       (setq nnml-group-alist 
-             (cons (list (nnmail-replace-chars-in-string 
-                          (substring (expand-file-name dir)
-                                     (length (expand-file-name 
-                                              nnml-directory)))
-                          ?/ ?.)
-                         (cons (car files)
-                               (let ((f files))
-                                 (while (cdr f) (setq f (cdr f)))
-                                 (car f))))
-                   nnml-group-alist)))
-    (if files
-       (save-excursion
-         (set-buffer nntp-server-buffer)
-         (if (file-exists-p nov)
-             (delete-file nov))
-         (save-excursion
-           (set-buffer nov-buffer)
-           (buffer-disable-undo (current-buffer))
-           (erase-buffer))
-         (while files
-           (erase-buffer)
-           (insert-file-contents (concat dir "/" (int-to-string (car files))))
+               '<)))
+    (when files
+      (funcall nnml-generate-active-function dir)
+      ;; Generate the nov file.
+      (nnml-generate-nov-file dir files))))
+
+(defun nnml-generate-active-info (dir)
+  ;; Update the active info for this group.
+  (let ((group (nnheader-file-to-group 
+               (directory-file-name dir) nnml-directory)))
+    (setq nnml-group-alist
+         (delq (assoc group nnml-group-alist) nnml-group-alist))
+    (push (list group
+               (cons (car files)
+                     (let ((f files))
+                       (while (cdr f) (setq f (cdr f)))
+                       (car f))))
+         nnml-group-alist)))
+
+(defun nnml-generate-nov-file (dir files)
+  (let* ((dir (file-name-as-directory dir))
+        (nov (concat dir nnml-nov-file-name))
+        (nov-buffer (get-buffer-create " *nov*"))
+        nov-line chars file)
+    (save-excursion
+      ;; Init the nov buffer.
+      (set-buffer nov-buffer)
+      (buffer-disable-undo (current-buffer))
+      (erase-buffer)
+      (set-buffer nntp-server-buffer)
+      ;; Delete the old NOV file.
+      (when (file-exists-p nov)
+       (funcall nnmail-delete-file-function nov))
+      (while files
+       (unless (file-directory-p 
+                (setq file (concat dir (int-to-string (car files)))))
+         (erase-buffer)
+         (insert-file-contents file)
+         (narrow-to-region 
+          (goto-char (point-min))
+          (progn
+            (search-forward "\n\n" nil t)
+            (setq chars (- (point-max) (point)))
+            (max 1 (1- (point)))))
+         (when (and (not (= 0 chars))  ; none of them empty files...
+                    (not (= (point-min) (point-max))))
            (goto-char (point-min))
-           (narrow-to-region 1 (save-excursion (search-forward "\n\n" nil t)
-                                               (setq chars (- (point-max) 
-                                                              (point)))
-                                               (point)))
-           (if (not (= 0 chars))       ; none of them empty files...
-               (progn
-                 (setq nov-line (nnml-make-nov-line chars))
-                 (save-excursion
-                   (set-buffer nov-buffer)
-                   (goto-char (point-max))
-                   (insert (int-to-string (car files)) nov-line))))
-           (widen)
-           (setq files (cdr files)))
-         (save-excursion
-           (set-buffer nov-buffer)
-           (write-region 1 (point-max) (expand-file-name nov) nil
-                         'nomesg)
-           (kill-buffer (current-buffer)))))
-    (nnmail-save-active nnml-group-alist nnml-active-file)))
+           (setq nov-line (nnml-make-nov-line chars))
+           (save-excursion
+             (set-buffer nov-buffer)
+             (goto-char (point-max))
+             (insert (int-to-string (car files)) nov-line)))
+         (widen)
+         (setq files (cdr files))))
+      (save-excursion
+       (set-buffer nov-buffer)
+       (write-region 1 (point-max) (expand-file-name nov) nil
+                     'nomesg)
+       (kill-buffer (current-buffer))))))
 
 (defun nnml-nov-delete-article (group article)
   (save-excursion