*** empty log message ***
[gnus] / lisp / nnsoup.el
index 7f784a5..6eb1a02 100644 (file)
@@ -1,5 +1,5 @@
 ;;; nnsoup.el --- SOUP access for Gnus
-;; Copyright (C) 1995,96 Free Software Foundation, Inc.
+;; Copyright (C) 1995,96,97,98 Free Software Foundation, Inc.
 
 ;; Author: Lars Magne Ingebrigtsen <larsi@ifi.uio.no>
 ;;     Masanobu UMEDA <umerin@flab.flab.fujitsu.junet>
 (require 'nnmail)
 (require 'gnus-soup)
 (require 'gnus-msg)
+(require 'nnoo)
 (eval-when-compile (require 'cl))
 
-(defvar nnsoup-directory "~/SOUP/"
+(nnoo-declare nnsoup)
+
+(defvoo nnsoup-directory "~/SOUP/"
   "*SOUP packet directory.")
 
-(defvar nnsoup-tmp-directory "/tmp/"
+(defvoo nnsoup-tmp-directory "/tmp/"
   "*Where nnsoup will store temporary files.")
 
-(defvar nnsoup-replies-directory (concat nnsoup-directory "replies/")
+(defvoo nnsoup-replies-directory (concat nnsoup-directory "replies/")
   "*Directory where outgoing packets will be composed.")
 
-(defvar nnsoup-replies-format-type ?n
+(defvoo nnsoup-replies-format-type ?n
   "*Format of the replies packages.")
 
-(defvar nnsoup-replies-index-type ?n
+(defvoo nnsoup-replies-index-type ?n
   "*Index type of the replies packages.")
 
-(defvar nnsoup-active-file (concat nnsoup-directory "active")
+(defvoo nnsoup-active-file (concat nnsoup-directory "active")
   "Active file.")
 
-(defvar nnsoup-packer "tar cf - %s | gzip > $HOME/Soupin%d.tgz"
+(defvoo nnsoup-packer "tar cf - %s | gzip > $HOME/Soupin%d.tgz"
   "Format string command for packing a SOUP packet.
 The SOUP files will be inserted where the %s is in the string.
-This string MUST contain both %s and %d. The file number will be
+This string MUST contain both %s and %d.  The file number will be
 inserted where %d appears.")
 
-(defvar nnsoup-unpacker "gunzip -c %s | tar xvf -"
+(defvoo nnsoup-unpacker "gunzip -c %s | tar xvf -"
   "*Format string command for unpacking a SOUP packet.
 The SOUP packet file name will be inserted at the %s.")
 
-(defvar nnsoup-packet-directory "~/"
+(defvoo nnsoup-packet-directory "~/"
   "*Where nnsoup will look for incoming packets.")
 
-(defvar nnsoup-packet-regexp "Soupout"
+(defvoo nnsoup-packet-regexp "Soupout"
   "*Regular expression matching SOUP packets in `nnsoup-packet-directory'.")
 
+(defvoo nnsoup-always-save t
+  "If non nil commit the reply buffer on each message send. 
+This is necessary if using message mode outside Gnus with nnsoup as a 
+backend for the messages.")
+
 \f
 
 (defconst nnsoup-version "nnsoup 0.0"
   "nnsoup version.")
 
-(defvar nnsoup-status-string "")
-(defvar nnsoup-group-alist nil)
-(defvar nnsoup-current-prefix 0)
-(defvar nnsoup-replies-list nil)
-(defvar nnsoup-buffers nil)
-(defvar nnsoup-current-group nil)
-
-\f
-
-;; Server variables.
-
-(defvar nnsoup-current-server nil)
-(defvar nnsoup-server-alist nil)
-(defvar nnsoup-server-variables 
-  `((nnsoup-directory ,nnsoup-directory)
-    (nnsoup-active-file ,nnsoup-active-file)
-    (nnsoup-status-string "")
-    (nnsoup-current-prefix 0)
-    (nnsoup-group-alist nil)))
-
+(defvoo nnsoup-status-string "")
+(defvoo nnsoup-group-alist nil)
+(defvoo nnsoup-current-prefix 0)
+(defvoo nnsoup-replies-list nil)
+(defvoo nnsoup-buffers nil)
+(defvoo nnsoup-current-group nil)
+(defvoo nnsoup-group-alist-touched nil)
+(defvoo nnsoup-article-alist nil)
 \f
 
 ;;; Interface functions.
 
-(defun nnsoup-retrieve-headers (sequence &optional group server fetch-old)
+(nnoo-define-basics nnsoup)
+
+(deffoo nnsoup-retrieve-headers (sequence &optional group server fetch-old)
   (nnsoup-possibly-change-group group)
   (save-excursion
     (set-buffer nntp-server-buffer)
@@ -111,7 +109,7 @@ The SOUP packet file name will be inserted at the %s.")
        ;; articles in SEQUENCE come from.
        (while (and areas sequence)
          ;; Peel off areas that are below sequence.
-         (while (and areas (< (cdr (car (car areas))) (car sequence)))
+         (while (and areas (< (cdaar areas) (car sequence)))
            (setq areas (cdr areas)))
          (when areas
            ;; This is a useful area.
@@ -119,7 +117,7 @@ The SOUP packet file name will be inserted at the %s.")
            (setq this-area-seq nil)
            ;; We take note whether this MSG has a corresponding IDX
            ;; for later use.
-           (when (or (= (gnus-soup-encoding-index 
+           (when (or (= (gnus-soup-encoding-index
                          (gnus-soup-area-encoding (nth 1 (car areas)))) ?n)
                      (not (file-exists-p
                            (nnsoup-file
@@ -127,14 +125,14 @@ The SOUP packet file name will be inserted at the %s.")
              (setq use-nov nil))
            ;; We assign the portion of `sequence' that is relevant to
            ;; this MSG packet to this packet.
-           (while (and sequence (<= (car sequence) (cdr (car (car areas)))))
+           (while (and sequence (<= (car sequence) (cdaar areas)))
              (push (car sequence) this-area-seq)
              (setq sequence (cdr sequence)))
            (setcar useful-areas (cons (nreverse this-area-seq)
                                       (car useful-areas)))))
 
        ;; We now have a list of article numbers and corresponding
-       ;; areas. 
+       ;; areas.
        (setq useful-areas (nreverse useful-areas))
 
        ;; Two different approaches depending on whether all the MSG
@@ -165,12 +163,12 @@ The SOUP packet file name will be inserted at the %s.")
              'nov)
          ;; We insert HEADs.
          (while useful-areas
-           (setq articles (car (car useful-areas))
+           (setq articles (caar useful-areas)
                  useful-areas (cdr useful-areas))
            (while articles
              (when (setq msg-buf
-                         (nnsoup-narrow-to-article 
-                          (car articles) (cdr (car useful-areas)) 'head))
+                         (nnsoup-narrow-to-article
+                          (car articles) (cdar useful-areas) 'head))
                (goto-char (point-max))
                (insert (format "221 %d Article retrieved.\n" (car articles)))
                (insert-buffer-substring msg-buf)
@@ -181,25 +179,26 @@ The SOUP packet file name will be inserted at the %s.")
          (nnheader-fold-continuation-lines)
          'headers)))))
 
-(defun nnsoup-open-server (server &optional defs)
-  (nnheader-init-server-buffer)
-  (if (equal server nnsoup-current-server)
-      t
-    (if nnsoup-current-server
-       (setq nnsoup-server-alist 
-             (cons (list nnsoup-current-server
-                         (nnheader-save-variables nnsoup-server-variables))
-                   nnsoup-server-alist)))
-    (let ((state (assoc server nnsoup-server-alist)))
-      (if state 
-         (progn
-           (nnheader-restore-variables (nth 1 state))
-           (setq nnsoup-server-alist (delq state nnsoup-server-alist)))
-       (nnheader-set-init-variables nnsoup-server-variables defs)))
-    (setq nnsoup-current-server server))
-  (nnsoup-read-active-file))
-
-(defun nnsoup-request-close ()
+(deffoo nnsoup-open-server (server &optional defs)
+  (nnoo-change-server 'nnsoup server defs)
+  (when (not (file-exists-p nnsoup-directory))
+    (condition-case ()
+       (make-directory nnsoup-directory t)
+      (error t)))
+  (cond
+   ((not (file-exists-p nnsoup-directory))
+    (nnsoup-close-server)
+    (nnheader-report 'nnsoup "Couldn't create directory: %s" nnsoup-directory))
+   ((not (file-directory-p (file-truename nnsoup-directory)))
+    (nnsoup-close-server)
+    (nnheader-report 'nnsoup "Not a directory: %s" nnsoup-directory))
+   (t
+    (nnsoup-read-active-file)
+    (nnheader-report 'nnsoup "Opened server %s using directory %s"
+                    server nnsoup-directory)
+    t)))
+
+(deffoo nnsoup-request-close ()
   (nnsoup-write-active-file)
   (nnsoup-write-replies)
   (gnus-soup-save-areas)
@@ -211,52 +210,44 @@ The SOUP packet file name will be inserted at the %s.")
           (buffer-name buffer)
           (kill-buffer buffer))))
   (setq nnsoup-group-alist nil
+       nnsoup-group-alist-touched nil
        nnsoup-current-group nil
-       nnsoup-current-server nil
-       nnsoup-server-alist nil
        nnsoup-replies-list nil)
+  (nnoo-close-server 'nnoo)
   t)
 
-(defun nnsoup-close-server (&optional server)
-  t)
-
-(defun nnsoup-server-opened (&optional server)
-  (and (equal server nnsoup-current-server)
-       nntp-server-buffer
-       (buffer-name nntp-server-buffer)))
-
-(defun nnsoup-status-message (&optional server)
-  nnsoup-status-string)
-
-(defun nnsoup-request-article (id &optional newsgroup server buffer)
+(deffoo nnsoup-request-article (id &optional newsgroup server buffer)
   (nnsoup-possibly-change-group newsgroup)
-  (let ((buffer (or buffer nntp-server-buffer)))
+  (let (buf)
     (save-excursion
-      (set-buffer buffer)
+      (set-buffer (or buffer nntp-server-buffer))
       (erase-buffer)
-      (if (stringp id)
-         ()
-       (insert-buffer-substring
-        (nnsoup-narrow-to-article id))
+      (when (and (not (stringp id))
+                (setq buf (nnsoup-narrow-to-article id)))
+       (insert-buffer-substring buf)
        t))))
 
-(defun nnsoup-request-group (group &optional server dont-check)
+(deffoo nnsoup-request-group (group &optional server dont-check)
   (nnsoup-possibly-change-group group)
-  (if dont-check 
+  (if dont-check
       t
     (let ((active (cadr (assoc group nnsoup-group-alist))))
       (if (not active)
          (nnheader-report 'nnsoup "No such group: %s" group)
-       (nnheader-insert 
-        "211 %d %d %d %s\n" 
-        (max (1+ (- (cdr active) (car active))) 0) 
+       (nnheader-insert
+        "211 %d %d %d %s\n"
+        (max (1+ (- (cdr active) (car active))) 0)
         (car active) (cdr active) group)))))
 
-(defun nnsoup-request-type (group &optional article)
+(deffoo nnsoup-request-type (group &optional article)
   (nnsoup-possibly-change-group group)
+  ;; Try to guess the type based on the first article in the group.
+  (when (not article)
+    (setq article
+         (cdaar (cddr (assoc group nnsoup-group-alist)))))
   (if (not article)
       'unknown
-    (let ((kind (gnus-soup-encoding-kind 
+    (let ((kind (gnus-soup-encoding-kind
                 (gnus-soup-area-encoding
                  (nth 1 (nnsoup-article-to-area
                          article nnsoup-current-group))))))
@@ -264,7 +255,7 @@ The SOUP packet file name will be inserted at the %s.")
            ((= kind ?n) 'news)
            (t 'unknown)))))
 
-(defun nnsoup-close-group (group &optional server)
+(deffoo nnsoup-close-group (group &optional server)
   ;; Kill all nnsoup buffers.
   (let ((buffers nnsoup-buffers)
        elem)
@@ -275,35 +266,41 @@ The SOUP packet file name will be inserted at the %s.")
             (kill-buffer (cdr elem))))))
   t)
 
-(defun nnsoup-request-list (&optional server)
+(deffoo nnsoup-request-list (&optional server)
   (save-excursion
     (set-buffer nntp-server-buffer)
     (erase-buffer)
+    (unless nnsoup-group-alist
+      (nnsoup-read-active-file))
     (let ((alist nnsoup-group-alist)
+         (standard-output (current-buffer))
          entry)
       (while (setq entry (pop alist))
-       (insert (format "%s %d %d y\n" (car entry)
-                       (cdadr entry) (caadr entry))))
+       (insert (car entry) " ")
+       (princ (cdadr entry))
+       (insert " ")
+       (princ (caadr entry))
+       (insert " y\n"))
       t)))
 
-(defun nnsoup-request-scan (group &optional server)
+(deffoo nnsoup-request-scan (group &optional server)
   (nnsoup-unpack-packets))
 
-(defun nnsoup-request-newgroups (date &optional server)
+(deffoo nnsoup-request-newgroups (date &optional server)
   (nnsoup-request-list))
 
-(defun nnsoup-request-list-newsgroups (&optional server)
+(deffoo nnsoup-request-list-newsgroups (&optional server)
   nil)
 
-(defun nnsoup-request-post (&optional server)
+(deffoo nnsoup-request-post (&optional server)
   (nnsoup-store-reply "news")
   t)
 
-(defun nnsoup-request-mail ()
+(deffoo nnsoup-request-mail (&optional server)
   (nnsoup-store-reply "mail")
   t)
 
-(defun nnsoup-request-expire-articles (articles group &optional server force)
+(deffoo nnsoup-request-expire-articles (articles group &optional server force)
   (nnsoup-possibly-change-group group)
   (let* ((total-infolist (assoc group nnsoup-group-alist))
         (active (cadr total-infolist))
@@ -319,29 +316,29 @@ The SOUP packet file name will be inserted at the %s.")
                   (setq mod-time (nth 5 (file-attributes
                                          (nnsoup-file prefix t)))))
               (gnus-sublist-p articles range-list)
-              ;; This file is old enough. 
+              ;; This file is old enough.
               (nnmail-expired-article-p group mod-time force))
        ;; Ok, we delete this file.
-       (when (condition-case nil
-                 (progn
-                   (nnheader-message 
-                    5 "Deleting %s..." (nnsoup-file prefix))
-                   (when (file-exists-p (nnsoup-file prefix))
-                     (delete-file (nnsoup-file prefix)))
-                   (nnheader-message 
-                    5 "Deleting %s..." (nnsoup-file prefix t))
-                   (when (file-exists-p (nnsoup-file prefix t))
-                     (delete-file (nnsoup-file prefix t)))
-                   t)
-               (error nil))
+       (when (ignore-errors
+               (nnheader-message
+                5 "Deleting %s in group %s..." (nnsoup-file prefix)
+                group)
+               (when (file-exists-p (nnsoup-file prefix))
+                 (delete-file (nnsoup-file prefix)))
+               (nnheader-message
+                5 "Deleting %s in group %s..." (nnsoup-file prefix t)
+                group)
+               (when (file-exists-p (nnsoup-file prefix t))
+                 (delete-file (nnsoup-file prefix t)))
+               t)
          (setcdr (cdr total-infolist) (delq info (cddr total-infolist)))
          (setq articles (gnus-sorted-complement articles range-list))))
       (when (not mod-time)
        (setcdr (cdr total-infolist) (delq info (cddr total-infolist)))))
     (if (cddr total-infolist)
-       (setcar active (car (car (car (cdr (cdr total-infolist))))))
+       (setcar active (caaadr (cdr total-infolist)))
       (setcar active (1+ (cdr active))))
-    (nnsoup-write-active-file)
+    (nnsoup-write-active-file t)
     ;; Return the articles that weren't expired.
     articles))
 
@@ -349,16 +346,17 @@ The SOUP packet file name will be inserted at the %s.")
 ;;; Internal functions
 
 (defun nnsoup-possibly-change-group (group &optional force)
-  (if group
-      (setq nnsoup-current-group group)
-    t))
+  (when (and group
+            (not (equal nnsoup-current-group group)))
+    (setq nnsoup-article-alist nil)
+    (setq nnsoup-current-group group))
+  t)
 
 (defun nnsoup-read-active-file ()
-  (setq nnsoup-group-alist)
+  (setq nnsoup-group-alist nil)
   (when (file-exists-p nnsoup-active-file)
-    (condition-case ()
-       (load nnsoup-active-file)
-      (error nil))
+    (ignore-errors
+      (load nnsoup-active-file t t t))
     ;; Be backwards compatible.
     (when (and nnsoup-group-alist
               (not (atom (caadar nnsoup-group-alist))))
@@ -369,26 +367,25 @@ The SOUP packet file name will be inserted at the %s.")
          (while (cdr e)
            (setq e (cdr e)))
          (setq max (cdaar e))
-         (setcdr entry (cons (cons min max) (cdr entry))))))
+         (setcdr entry (cons (cons min max) (cdr entry)))))
+      (setq nnsoup-group-alist-touched t))
     nnsoup-group-alist))
 
-(defun nnsoup-write-active-file ()
-  (when nnsoup-group-alist
-    (save-excursion
-      (set-buffer (get-buffer-create " *nnsoup work*"))
-      (buffer-disable-undo (current-buffer))
-      (erase-buffer)
-      (insert (format "(setq nnsoup-group-alist '%S)\n" nnsoup-group-alist))
-      (insert (format "(setq nnsoup-current-prefix %d)\n"
-                     nnsoup-current-prefix))
-      (write-region (point-min) (point-max) nnsoup-active-file
-                   nil 'silent)
-      (kill-buffer (current-buffer)))))
+(defun nnsoup-write-active-file (&optional force)
+  (when (and nnsoup-group-alist
+            (or force
+                nnsoup-group-alist-touched))
+    (setq nnsoup-group-alist-touched nil)
+    (nnheader-temp-write nnsoup-active-file
+      (gnus-prin1 `(setq nnsoup-group-alist ',nnsoup-group-alist))
+      (insert "\n")
+      (gnus-prin1 `(setq nnsoup-current-prefix ,nnsoup-current-prefix))
+      (insert "\n"))))
 
 (defun nnsoup-next-prefix ()
   "Return the next free prefix."
   (let (prefix)
-    (while (or (file-exists-p 
+    (while (or (file-exists-p
                (nnsoup-file (setq prefix (int-to-string
                                           nnsoup-current-prefix))))
               (file-exists-p (nnsoup-file prefix t)))
@@ -396,46 +393,62 @@ The SOUP packet file name will be inserted at the %s.")
     (incf nnsoup-current-prefix)
     prefix))
 
+(defun nnsoup-file-name (dir file)
+  "Return the full path of FILE (in any case) in DIR."
+  (let* ((case-fold-search t)
+        (files (directory-files dir t))
+        (regexp (concat (regexp-quote file) "$")))
+    (car (delq nil
+              (mapcar
+               (lambda (file)
+                 (if (string-match regexp file)
+                     file
+                   nil))
+               files)))))
+
 (defun nnsoup-read-areas ()
-  (save-excursion
-    (set-buffer nntp-server-buffer)
-    (let ((areas (gnus-soup-parse-areas (concat nnsoup-tmp-directory "AREAS")))
-         entry number area lnum cur-prefix file)
-      ;; Go through all areas in the new AREAS file.
-      (while (setq area (pop areas))
-       ;; Change the name to the permanent name and move the files.
-       (setq cur-prefix (nnsoup-next-prefix))
-       (message "Incorporating file %s..." cur-prefix)
-       (when (file-exists-p 
-              (setq file (concat nnsoup-tmp-directory
-                                 (gnus-soup-area-prefix area) ".IDX")))
-         (rename-file file (nnsoup-file cur-prefix)))
-       (when (file-exists-p 
-              (setq file (concat nnsoup-tmp-directory 
-                                 (gnus-soup-area-prefix area) ".MSG")))
-         (rename-file file (nnsoup-file cur-prefix t)))
-       (gnus-soup-set-area-prefix area cur-prefix)
-       ;; Find the number of new articles in this area.
-       (setq number (nnsoup-number-of-articles area))
-       (if (not (setq entry (assoc (gnus-soup-area-name area)
-                                   nnsoup-group-alist)))
-           ;; If this is a new area (group), we just add this info to
-           ;; the group alist. 
-           (push (list (gnus-soup-area-name area)
-                       (cons 1 number)
-                       (list (cons 1 number) area))
-                 nnsoup-group-alist)
-         ;; There are already articles in this group, so we add this
-         ;; info to the end of the entry.
-         (nconc entry (list (list (cons (1+ (setq lnum (cdadr entry)))
-                                        (+ lnum number))
-                                  area)))
-         (setcdr (cadr entry) (+ lnum number)))))
-    (nnsoup-write-active-file)))
+  (let ((areas-file (nnsoup-file-name nnsoup-tmp-directory "areas")))
+    (when areas-file
+      (save-excursion
+       (set-buffer nntp-server-buffer)
+       (let ((areas (gnus-soup-parse-areas areas-file))
+             entry number area lnum cur-prefix file)
+         ;; Go through all areas in the new AREAS file.
+         (while (setq area (pop areas))
+           ;; Change the name to the permanent name and move the files.
+           (setq cur-prefix (nnsoup-next-prefix))
+           (message "Incorporating file %s..." cur-prefix)
+           (when (file-exists-p
+                  (setq file (concat nnsoup-tmp-directory
+                                     (gnus-soup-area-prefix area) ".IDX")))
+             (rename-file file (nnsoup-file cur-prefix)))
+           (when (file-exists-p
+                  (setq file (concat nnsoup-tmp-directory
+                                     (gnus-soup-area-prefix area) ".MSG")))
+             (rename-file file (nnsoup-file cur-prefix t))
+             (gnus-soup-set-area-prefix area cur-prefix)
+             ;; Find the number of new articles in this area.
+             (setq number (nnsoup-number-of-articles area))
+             (if (not (setq entry (assoc (gnus-soup-area-name area)
+                                         nnsoup-group-alist)))
+                 ;; If this is a new area (group), we just add this info to
+                 ;; the group alist.
+                 (push (list (gnus-soup-area-name area)
+                             (cons 1 number)
+                             (list (cons 1 number) area))
+                       nnsoup-group-alist)
+               ;; There are already articles in this group, so we add this
+               ;; info to the end of the entry.
+               (nconc entry (list (list (cons (1+ (setq lnum (cdadr entry)))
+                                              (+ lnum number))
+                                        area)))
+               (setcdr (cadr entry) (+ lnum number))))))
+       (nnsoup-write-active-file t)
+       (delete-file areas-file)))))
 
 (defun nnsoup-number-of-articles (area)
   (save-excursion
-    (cond 
+    (cond
      ;; If the number is in the area info, we just return it.
      ((gnus-soup-area-number area)
       (gnus-soup-area-number area))
@@ -444,27 +457,82 @@ The SOUP packet file name will be inserted at the %s.")
       (set-buffer (nnsoup-index-buffer (gnus-soup-area-prefix area)))
       (count-lines (point-min) (point-max)))
      ;; We do it the hard way - re-searching through the message
-     ;; buffer. 
+     ;; buffer.
      (t
       (set-buffer (nnsoup-message-buffer (gnus-soup-area-prefix area)))
-      (goto-char (point-min))
-      (let ((regexp (nnsoup-header (gnus-soup-encoding-format 
-                                   (gnus-soup-area-encoding area))))
-           (num 0))
-       (while (re-search-forward regexp nil t)
-         (setq num (1+ num)))
-       num)))))
+      (unless (assoc (gnus-soup-area-prefix area) nnsoup-article-alist)
+       (nnsoup-dissect-buffer area))
+      (length (cdr (assoc (gnus-soup-area-prefix area)
+                         nnsoup-article-alist)))))))
+
+(defun nnsoup-dissect-buffer (area)
+  (let ((mbox-delim (concat "^" message-unix-mail-delimiter))
+       (format (gnus-soup-encoding-format (gnus-soup-area-encoding area)))
+       (i 0)
+       alist len)
+    (goto-char (point-min))
+    (cond
+     ;; rnews batch format
+     ((= format ?n)
+      (while (looking-at "^#! *rnews \\(+[0-9]+\\) *$")
+       (forward-line 1)
+       (push (list
+              (incf i) (point)
+              (progn
+                (forward-char (string-to-number (match-string 1)))
+                (point)))
+             alist)))
+     ;; Unix mbox format
+     ((= format ?m)
+      (while (looking-at mbox-delim)
+       (forward-line 1)
+       (push (list
+              (incf i) (point)
+              (progn
+                (if (re-search-forward mbox-delim nil t)
+                    (beginning-of-line)
+                  (goto-char (point-max)))
+                (point)))
+             alist)))
+     ;; MMDF format
+     ((= format ?M)
+      (while (looking-at "\^A\^A\^A\^A\n")
+       (forward-line 1)
+       (push (list
+              (incf i) (point)
+              (progn
+                (if (search-forward "\n\^A\^A\^A\^A\n" nil t)
+                    (beginning-of-line)
+                  (goto-char (point-max)))
+                (point)))
+             alist)))
+     ;; Binary format
+     ((or (= format ?B) (= format ?b))
+      (while (not (eobp))
+       (setq len (+ (* (char-after (point)) (expt 2.0 24))
+                    (* (char-after (+ (point) 1)) (expt 2 16))
+                    (* (char-after (+ (point) 2)) (expt 2 8))
+                    (char-after (+ (point) 3))))
+       (push (list
+              (incf i) (+ (point) 4)
+              (progn
+                (forward-char (floor (+ len 4)))
+                (point)))
+             alist)))
+     (t
+      (error "Unknown format: %c" format)))
+    (push (cons (gnus-soup-area-prefix area) alist) nnsoup-article-alist)))
 
 (defun nnsoup-index-buffer (prefix &optional message)
   (let* ((file (concat prefix (if message ".MSG" ".IDX")))
         (buffer-name (concat " *nnsoup " file "*")))
-    (or (get-buffer buffer-name)       ; File aready loaded.
+    (or (get-buffer buffer-name)       ; File already loaded.
        (when (file-exists-p (concat nnsoup-directory file))
-         (save-excursion                       ; Load the file.
+         (save-excursion               ; Load the file.
            (set-buffer (get-buffer-create buffer-name))
            (buffer-disable-undo (current-buffer))
            (push (cons nnsoup-current-group (current-buffer)) nnsoup-buffers)
-           (insert-file-contents (concat nnsoup-directory file))
+           (nnheader-insert-file-contents (concat nnsoup-directory file))
            (current-buffer))))))
 
 (defun nnsoup-file (prefix &optional message)
@@ -478,95 +546,88 @@ The SOUP packet file name will be inserted at the %s.")
   "Unpack all packets in `nnsoup-packet-directory'."
   (let ((packets (directory-files
                  nnsoup-packet-directory t nnsoup-packet-regexp))
-       packet msg)
+       packet)
     (while (setq packet (pop packets))
-      (message (setq msg (format "nnsoup: unpacking %s..." packet)))
-      (if (not (gnus-soup-unpack-packet 
+      (message "nnsoup: unpacking %s..." packet)
+      (if (not (gnus-soup-unpack-packet
                nnsoup-tmp-directory nnsoup-unpacker packet))
          (message "Couldn't unpack %s" packet)
        (delete-file packet)
        (nnsoup-read-areas)
-       (message "%sdone" msg)))))
+       (message "Unpacking...done")))))
 
 (defun nnsoup-narrow-to-article (article &optional area head)
   (let* ((area (or area (nnsoup-article-to-area article nnsoup-current-group)))
-        (prefix (gnus-soup-area-prefix (nth 1 area)))
-        (msg-buf (nnsoup-index-buffer prefix 'msg))
+        (prefix (and area (gnus-soup-area-prefix (nth 1 area))))
+        (msg-buf (and prefix (nnsoup-index-buffer prefix 'msg)))
         beg end)
-    (save-excursion
-      (cond
-       ;; There is no MSG file.
-       ((null msg-buf)
-       nil)
-       
-       ;; We use the index file to find out where the article begins and ends. 
-       ((and (= (gnus-soup-encoding-index 
-                (gnus-soup-area-encoding (nth 1 area)))
-               ?c)
-            (file-exists-p (nnsoup-file prefix)))
-       (set-buffer (nnsoup-index-buffer prefix))
-       (widen)
-       (goto-char (point-min))
-       (forward-line (- article (car (car area))))
-       (setq beg (read (current-buffer)))
-       (forward-line 1)
-       (if (looking-at "[0-9]+")
-           (progn
-             (setq end (read (current-buffer)))
-             (set-buffer msg-buf)
-             (widen)
-             (let ((format (gnus-soup-encoding-format
-                            (gnus-soup-area-encoding (nth 1 area)))))
-               (goto-char end)
-               (if (or (= format ?n) (= format ?m))
+    (when area
+      (save-excursion
+       (cond
+        ;; There is no MSG file.
+        ((null msg-buf)
+         nil)
+        ;; We use the index file to find out where the article
+        ;; begins and ends.
+        ((and (= (gnus-soup-encoding-index
+                  (gnus-soup-area-encoding (nth 1 area)))
+                 ?c)
+              (file-exists-p (nnsoup-file prefix)))
+         (set-buffer (nnsoup-index-buffer prefix))
+         (widen)
+         (goto-char (point-min))
+         (forward-line (- article (caar area)))
+         (setq beg (read (current-buffer)))
+         (forward-line 1)
+         (if (looking-at "[0-9]+")
+             (progn
+               (setq end (read (current-buffer)))
+               (set-buffer msg-buf)
+               (widen)
+               (let ((format (gnus-soup-encoding-format
+                              (gnus-soup-area-encoding (nth 1 area)))))
+                 (goto-char end)
+                 (when (or (= format ?n) (= format ?m))
                    (setq end (progn (forward-line -1) (point))))))
-         (set-buffer msg-buf))
-       (widen)
-       (narrow-to-region beg (or end (point-max))))
-       (t
-       (set-buffer msg-buf)
-       (widen)
+           (set-buffer msg-buf))
+         (widen)
+         (narrow-to-region beg (or end (point-max))))
+        (t
+         (set-buffer msg-buf)
+         (widen)
+         (unless (assoc (gnus-soup-area-prefix (nth 1 area))
+                        nnsoup-article-alist)
+           (nnsoup-dissect-buffer (nth 1 area)))
+         (let ((entry (assq article (cdr (assoc (gnus-soup-area-prefix
+                                                 (nth 1 area))
+                                                nnsoup-article-alist)))))
+           (when entry
+             (narrow-to-region (cadr entry) (caddr entry))))))
        (goto-char (point-min))
-       (let ((header (nnsoup-header 
-                      (gnus-soup-encoding-format 
-                       (gnus-soup-area-encoding (nth 1 area))))))
-         (re-search-forward header nil t (- article (car (car area))))
+       (if (not head)
+           ()
          (narrow-to-region
-          (match-beginning 0)
-          (if (re-search-forward header nil t)
-              (match-beginning 0)
-            (point-max))))))
-      (goto-char (point-min))
-      (if (not head)
-         ()
-       (narrow-to-region
-        (point-min)
-        (if (search-forward "\n\n" nil t)
-            (1- (point))
-          (point-max))))
-      msg-buf)))
-
-(defun nnsoup-header (format)
-  (cond 
-   ((= format ?n)
-    "^#! *rnews +[0-9]+ *$")
-   ((= format ?m)
-    (concat "^" rmail-unix-mail-delimiter))
-   ((= format ?M)
-    "^\^A\^A\^A\^A\n")
-   (t
-    (error "Unknown format: %c" format))))
+          (point-min)
+          (if (search-forward "\n\n" nil t)
+              (1- (point))
+            (point-max))))
+       msg-buf))))
 
 ;;;###autoload
 (defun nnsoup-pack-replies ()
   "Make an outbound package of SOUP replies."
   (interactive)
+  (unless (file-exists-p nnsoup-replies-directory)
+    (message "No such directory: %s" nnsoup-replies-directory))
   ;; Write all data buffers.
   (gnus-soup-save-areas)
   ;; Write the active file.
   (nnsoup-write-active-file)
   ;; Write the REPLIES file.
   (nnsoup-write-replies)
+  ;; Check whether there is anything here.
+  (when (null (directory-files nnsoup-replies-directory nil "\\.MSG$"))
+    (error "No files to pack"))
   ;; Pack all these files into a SOUP packet.
   (gnus-soup-pack nnsoup-replies-directory nnsoup-packer))
 
@@ -579,111 +640,105 @@ The SOUP packet file name will be inserted at the %s.")
 (defun nnsoup-article-to-area (article group)
   "Return the area that ARTICLE in GROUP is located in."
   (let ((areas (cddr (assoc group nnsoup-group-alist))))
-    (while (and areas (< (cdr (car (car areas))) article))
+    (while (and areas (< (cdaar areas) article))
       (setq areas (cdr areas)))
     (and areas (car areas))))
 
 (defvar nnsoup-old-functions
-  (list gnus-inews-article-function send-mail-function))
+  (list message-send-mail-function message-send-news-function))
 
 ;;;###autoload
 (defun nnsoup-set-variables ()
   "Use the SOUP methods for posting news and mailing mail."
   (interactive)
-  (setq gnus-inews-article-function 'nnsoup-request-post)
-  (setq send-mail-function 'nnsoup-request-mail))
+  (setq message-send-news-function 'nnsoup-request-post)
+  (setq message-send-mail-function 'nnsoup-request-mail))
 
 ;;;###autoload
 (defun nnsoup-revert-variables ()
   "Revert posting and mailing methods to the standard Emacs methods."
   (interactive)
-  (setq gnus-inews-article-function (car nnsoup-old-functions))
-  (setq send-mail-function (cadr nnsoup-old-functions)))
+  (setq message-send-mail-function (car nnsoup-old-functions))
+  (setq message-send-news-function (cadr nnsoup-old-functions)))
 
 (defun nnsoup-store-reply (kind)
-  ;; Mostly stolen from `sendmail.el'.
-  (let ((tembuf (generate-new-buffer " sendmail temp"))
+  ;; Mostly stolen from `message.el'.
+  (require 'mail-utils)
+  (let ((tembuf (generate-new-buffer " message temp"))
        (case-fold-search nil)
-       (mailbuf (current-buffer))
-       delimline)
-    (save-excursion
-      (set-buffer tembuf)
-      (erase-buffer)
-      (insert-buffer-substring mailbuf)
-      (goto-char (point-max))
-      ;; require one newline at the end.
-      (or (= (preceding-char) ?\n)
-         (insert ?\n))
-      ;; Change header-delimiter to be what sendmail expects.
-      (goto-char (point-min))
-      (if (re-search-forward
-          (concat "^" (regexp-quote mail-header-separator) "\n") nil t)
-         (replace-match "\n")
-       (search-forward "\n\n" nil t))
-      (backward-char 1)
-      (setq delimline (point-marker))
-      (if mail-aliases (expand-mail-aliases (point-min) delimline))
-      (goto-char (point-min))
-      ;; ignore any blank lines in the header
-      (while (and (re-search-forward "\n\n\n*" delimline t)
-                 (< (point) delimline))
-       (replace-match "\n"))
-      (let ((case-fold-search t))
-       (goto-char (point-min))
-       ;; Find and handle any FCC fields.
-       (goto-char (point-min))
-       (if (re-search-forward "^FCC:" delimline t)
-           (mail-do-fcc delimline))
-       (goto-char (point-min))
-       ;; "S:" is an abbreviation for "Subject:".
-       (goto-char (point-min))
-       (if (re-search-forward "^S:" delimline t)
-           (replace-match "Subject:"))
-       ;; Don't send out a blank subject line
-       (goto-char (point-min))
-       (if (re-search-forward "^Subject:[ \t]*\n" delimline t)
-           (replace-match ""))
-       ;; Insert an extra newline if we need it to work around
-       ;; Sun's bug that swallows newlines.
-       (goto-char (1+ delimline))
-       (if (eval mail-mailer-swallows-blank-line)
-           (newline)))
-      (let ((msg-buf
-            (gnus-soup-store 
-             nnsoup-replies-directory 
-             (nnsoup-kind-to-prefix kind) nil nnsoup-replies-format-type
-             nnsoup-replies-index-type))
-           (num 0))
-       (when (and msg-buf (bufferp msg-buf))
-         (save-excursion
-           (set-buffer msg-buf)
+       (real-header-separator mail-header-separator)
+       (mail-header-separator "")
+       delimline
+       (mailbuf (current-buffer)))
+    (unwind-protect
+       (save-excursion
+         (save-restriction
+           (message-narrow-to-headers)
+           (if (equal kind "mail")
+               (message-generate-headers message-required-mail-headers)
+             (message-generate-headers message-required-news-headers)))
+         (set-buffer tembuf)
+         (erase-buffer)
+         (insert-buffer-substring mailbuf)
+         ;; Remove some headers.
+         (save-restriction
+           (message-narrow-to-headers)
+           ;; Remove some headers.
+           (message-remove-header message-ignored-mail-headers t))
+         (goto-char (point-max))
+         ;; require one newline at the end.
+         (or (= (preceding-char) ?\n)
+             (insert ?\n))
+         (let ((case-fold-search t))
+           ;; Change header-delimiter to be what sendmail expects.
            (goto-char (point-min))
-           (while (re-search-forward "^#! *rnews" nil t)
-             (incf num)))
-         (message "Stored %d messages" num)))
-      (nnsoup-write-replies)
-      (kill-buffer tembuf))))
+           (re-search-forward
+            (concat "^" (regexp-quote real-header-separator) "\n"))
+           (replace-match "\n")
+           (backward-char 1)
+           (setq delimline (point-marker))
+           ;; Insert an extra newline if we need it to work around
+           ;; Sun's bug that swallows newlines.
+           (goto-char (1+ delimline))
+           (when (eval message-mailer-swallows-blank-line)
+             (newline))
+           (let ((msg-buf
+                  (gnus-soup-store
+                   nnsoup-replies-directory
+                   (nnsoup-kind-to-prefix kind) nil nnsoup-replies-format-type
+                   nnsoup-replies-index-type))
+                 (num 0))
+             (when (and msg-buf (bufferp msg-buf))
+               (save-excursion
+                 (set-buffer msg-buf)
+                 (goto-char (point-min))
+                 (while (re-search-forward "^#! *rnews" nil t)
+                   (incf num))
+                 (when nnsoup-always-save
+                   (save-buffer)))
+               (message "Stored %d messages" num)))
+           (nnsoup-write-replies)
+           (kill-buffer tembuf))))))
 
 (defun nnsoup-kind-to-prefix (kind)
   (unless nnsoup-replies-list
     (setq nnsoup-replies-list
-         (gnus-soup-parse-replies 
+         (gnus-soup-parse-replies
           (concat nnsoup-replies-directory "REPLIES"))))
   (let ((replies nnsoup-replies-list))
-    (while (and replies 
+    (while (and replies
                (not (string= kind (gnus-soup-reply-kind (car replies)))))
       (setq replies (cdr replies)))
     (if replies
        (gnus-soup-reply-prefix (car replies))
-      (setq nnsoup-replies-list
-           (cons (vector (gnus-soup-unique-prefix nnsoup-replies-directory)
-                         kind 
-                         (format "%c%c%c"
-                                 nnsoup-replies-format-type
-                                 nnsoup-replies-index-type
-                                 (if (string= kind "news")
-                                     ?n ?m)))
-                 nnsoup-replies-list))
+      (push (vector (gnus-soup-unique-prefix nnsoup-replies-directory)
+                   kind
+                   (format "%c%c%c"
+                           nnsoup-replies-format-type
+                           nnsoup-replies-index-type
+                           (if (string= kind "news")
+                               ?n ?m)))
+           nnsoup-replies-list)
       (gnus-soup-reply-prefix (car nnsoup-replies-list)))))
 
 (defun nnsoup-make-active ()
@@ -701,41 +756,37 @@ The SOUP packet file name will be inserted at the %s.")
     (while files
       (message "Doing %s..." (car files))
       (erase-buffer)
-      (insert-file-contents (car files))
+      (nnheader-insert-file-contents (car files))
       (goto-char (point-min))
-      (end-of-line)
-      (re-search-backward "[ \t]\\([^ ]+\\):[0-9]")
-      (setq group (buffer-substring (match-beginning 1) (match-end 1)))
+      (if (not (re-search-forward "^[^\t]*\t[^\t]*\t[^\t]*\t[^\t]*\t[^\t]*\t[^\t]*\t[^\t]*\t[^\t]*\t *\\(Xref: \\)? *[^ ]* \\([^ ]+\\):[0-9]" nil t))
+         (setq group "unknown")
+       (setq group (match-string 2)))
       (setq lines (count-lines (point-min) (point-max)))
       (setq ident (progn (string-match
                          "/\\([0-9]+\\)\\." (car files))
-                        (substring 
+                        (substring
                          (car files) (match-beginning 1)
                          (match-end 1))))
       (if (not (setq elem (assoc group active)))
          (push (list group (cons 1 lines)
-                     (list (cons 1 lines) 
+                     (list (cons 1 lines)
                            (vector ident group "ncm" "" lines)))
                active)
        (nconc elem
               (list
-               (list (cons (setq min (1+ (cdr (car (car
-                                                    (cdr elem))))))
+               (list (cons (1+ (setq min (cdadr elem)))
                            (+ min lines))
                      (vector ident group "ncm" "" lines))))
        (setcdr (cadr elem) (+ min lines)))
       (setq files (cdr files)))
     (message "")
     (setq nnsoup-group-alist active)
-    (while active
-      (setcdr (car active) (nreverse (cdr (car active))))
-      (setq active (cdr active)))
-    (nnsoup-write-active-file)))
+    (nnsoup-write-active-file t)))
 
 (defun nnsoup-delete-unreferenced-message-files ()
   "Delete any *.MSG and *.IDX files that aren't known by nnsoup."
   (interactive)
-  (let* ((known (apply 'nconc (mapcar 
+  (let* ((known (apply 'nconc (mapcar
                               (lambda (ga)
                                 (mapcar
                                  (lambda (area)