nndoc.el (nndoc-dissect-mime-parts-sub): Fix last change
[gnus] / lisp / nndoc.el
index 764f085..9c28cb1 100644 (file)
@@ -1,7 +1,6 @@
 ;;; nndoc.el --- single file access for Gnus
 
-;; Copyright (C) 1995, 1996, 1997, 1998, 1999, 2000, 2001, 2002, 2003,
-;;   2004, 2005, 2006 Free Software Foundation, Inc.
+;; Copyright (C) 1995-2013 Free Software Foundation, Inc.
 
 ;; Author: Lars Magne Ingebrigtsen <larsi@gnus.org>
 ;;     Masanobu UMEDA <umerin@flab.flab.fujitsu.junet>
@@ -9,10 +8,10 @@
 
 ;; This file is part of GNU Emacs.
 
-;; GNU Emacs is free software; you can redistribute it and/or modify
+;; GNU Emacs is free software: you can redistribute it and/or modify
 ;; it under the terms of the GNU General Public License as published by
-;; the Free Software Foundation; either version 2, or (at your option)
-;; any later version.
+;; the Free Software Foundation, either version 3 of the License, or
+;; (at your option) any later version.
 
 ;; GNU Emacs is distributed in the hope that it will be useful,
 ;; but WITHOUT ANY WARRANTY; without even the implied warranty of
@@ -20,9 +19,7 @@
 ;; GNU General Public License for more details.
 
 ;; You should have received a copy of the GNU General Public License
-;; along with GNU Emacs; see the file COPYING.  If not, write to the
-;; Free Software Foundation, Inc., 51 Franklin Street, Fifth Floor,
-;; Boston, MA 02110-1301, USA.
+;; along with GNU Emacs.  If not, see <http://www.gnu.org/licenses/>.
 
 ;;; Commentary:
 
@@ -66,9 +63,6 @@ from the document.")
      (body-end . "")
      (file-end . "")
      (subtype digest guess))
-    (mime-parts
-     (generate-head-function . nndoc-generate-mime-parts-head)
-     (article-transform-function . nndoc-transform-mime-parts))
     (nsmail
      (article-begin .  "^From - "))
     (news
@@ -84,6 +78,9 @@ from the document.")
      (body-end . "\^_")
      (body-begin-function . nndoc-babyl-body-begin)
      (head-begin-function . nndoc-babyl-head-begin))
+    (mime-parts
+     (generate-head-function . nndoc-generate-mime-parts-head)
+     (article-transform-function . nndoc-transform-mime-parts))
     (exim-bounce
      (article-begin . "^------ This is a copy of the message, including all the headers. ------\n\n")
      (body-end-function . nndoc-exim-bounce-body-end-function))
@@ -102,7 +99,7 @@ from the document.")
      (head-end . "^\t")
      (generate-head-function . nndoc-generate-clari-briefs-head)
      (article-transform-function . nndoc-transform-clari-briefs))
-    
+
     (standard-digest
      (first-article . ,(concat "^" (make-string 70 ?-) "\n *\n+"))
      (article-begin . ,(concat "^\n" (make-string 30 ?-) "\n *\n+"))
@@ -120,9 +117,19 @@ from the document.")
      (file-end . "^End of")
      (prepare-body-function . nndoc-unquote-dashes)
      (subtype digest guess))
+    (google
+     (pre-dissection-function . nndoc-decode-content-transfer-encoding)
+     (article-begin . "^== [0-9]+ of [0-9]+ ==$")
+     (head-begin . "^Date:")
+     (head-end . "^$")
+     (body-end-function . nndoc-digest-body-end)
+     (body-begin . "^$")
+     (file-end . "^==============================================================================$")
+     (prepare-body-function . nndoc-unquote-dashes)
+     (subtype digest guess))
     (lanl-gov-announce
      (article-begin . "^\\\\\\\\\n")
-     (head-begin . "^Paper.*:")
+     (head-begin . "^\\(Paper.*:\\|arXiv:\\)")
      (head-end   . "\\(^\\\\\\\\.*\n\\|-----------------\\)")
      (body-begin . "")
      (body-end   . "\\(-------------------------------------------------\\|%-%-%-%-%-%-%-%-%-%-%-%-%-%-\\|%%--%%--%%--%%--%%--%%--%%--%%--\\|%%%---%%%---%%%---%%%---\\)")
@@ -130,6 +137,14 @@ from the document.")
      (generate-head-function . nndoc-generate-lanl-gov-head)
      (article-transform-function . nndoc-transform-lanl-gov-announce)
      (subtype preprints guess))
+    (git
+     (file-begin . "\n- Log ---.*")
+     (article-begin . "^commit ")
+     (head-begin . "^Author: ")
+     (body-begin . "^$")
+     (file-end . "\n-----------------------------------------------------------------------")
+     (article-transform-function . nndoc-transform-git-article)
+     (header-transform-function . nndoc-transform-git-headers))
     (rfc822-forward
      (article-begin . "^\n+")
      (body-end-function . nndoc-rfc822-forward-body-end-function)
@@ -185,9 +200,11 @@ from the document.")
 (defvoo nndoc-prepare-body-function nil)
 (defvoo nndoc-generate-head-function nil)
 (defvoo nndoc-article-transform-function nil)
+(defvoo nndoc-header-transform-function nil)
 (defvoo nndoc-article-begin-function nil)
 (defvoo nndoc-generate-article-function nil)
 (defvoo nndoc-dissection-function nil)
+(defvoo nndoc-pre-dissection-function nil)
 
 (defvoo nndoc-status-string "")
 (defvoo nndoc-group-alist nil)
@@ -206,8 +223,7 @@ from the document.")
 
 (deffoo nndoc-retrieve-headers (articles &optional newsgroup server fetch-old)
   (when (nndoc-possibly-change-buffer newsgroup server)
-    (save-excursion
-      (set-buffer nntp-server-buffer)
+    (with-current-buffer nntp-server-buffer
       (erase-buffer)
       (let (article entry)
        (if (stringp (car articles))
@@ -215,17 +231,22 @@ from the document.")
          (while articles
            (when (setq entry (cdr (assq (setq article (pop articles))
                                         nndoc-dissection-alist)))
-             (insert (format "221 %d Article retrieved.\n" article))
-             (if nndoc-generate-head-function
-                 (funcall nndoc-generate-head-function article)
-               (insert-buffer-substring
-                nndoc-current-buffer (car entry) (nth 1 entry)))
-             (goto-char (point-max))
-             (unless (eq (char-after (1- (point))) ?\n)
-               (insert "\n"))
-             (insert (format "Lines: %d\n" (nth 4 entry)))
-             (insert ".\n")))
-
+             (let ((start (point)))
+               (insert (format "221 %d Article retrieved.\n" article))
+               (if nndoc-generate-head-function
+                   (funcall nndoc-generate-head-function article)
+                 (insert-buffer-substring
+                  nndoc-current-buffer (car entry) (nth 1 entry)))
+               (goto-char (point-max))
+               (unless (eq (char-after (1- (point))) ?\n)
+                 (insert "\n"))
+               (insert (format "Lines: %d\n" (nth 4 entry)))
+               (insert ".\n")
+               (when nndoc-header-transform-function
+                 (save-excursion
+                   (save-restriction
+                     (narrow-to-region start (point))
+                     (funcall nndoc-header-transform-function entry)))))))
          (nnheader-fold-continuation-lines)
          'headers)))))
 
@@ -256,7 +277,7 @@ from the document.")
            (funcall nndoc-article-transform-function article))
          t))))))
 
-(deffoo nndoc-request-group (group &optional server dont-check)
+(deffoo nndoc-request-group (group &optional server dont-check info)
   "Select news GROUP."
   (let (number)
     (cond
@@ -272,6 +293,11 @@ from the document.")
      (t
       (nnheader-insert "211 %d %d %d %s\n" number 1 number group)))))
 
+(deffoo nndoc-retrieve-groups (groups &optional server)
+  (dolist (group groups)
+    (nndoc-request-group group server))
+  t)
+
 (deffoo nndoc-request-type (group &optional article)
   (cond ((not article) 'unknown)
        (nndoc-post-type nndoc-post-type)
@@ -290,7 +316,7 @@ from the document.")
   t)
 
 (deffoo nndoc-request-list (&optional server)
-  nil)
+  t)
 
 (deffoo nndoc-request-newgroups (date &optional server)
   nil)
@@ -324,8 +350,7 @@ from the document.")
                               (concat " *nndoc " group "*"))))
            nndoc-group-alist)
       (setq nndoc-dissection-alist nil)
-      (save-excursion
-       (set-buffer nndoc-current-buffer)
+      (with-current-buffer nndoc-current-buffer
        (erase-buffer)
        (if (and (stringp nndoc-address)
                 (string-match nndoc-binary-file-names nndoc-address))
@@ -338,8 +363,7 @@ from the document.")
     ;; Initialize the nndoc structures according to this new document.
     (when (and nndoc-current-buffer
               (not nndoc-dissection-alist))
-      (save-excursion
-       (set-buffer nndoc-current-buffer)
+      (with-current-buffer nndoc-current-buffer
        (nndoc-set-delims)
        (if (eq nndoc-article-type 'mime-parts)
            (nndoc-dissect-mime-parts)
@@ -362,10 +386,12 @@ from the document.")
                nndoc-file-end nndoc-article-begin
                nndoc-body-begin nndoc-body-end-function nndoc-body-end
                nndoc-prepare-body-function nndoc-article-transform-function
+               nndoc-header-transform-function
                nndoc-generate-head-function nndoc-body-begin-function
                nndoc-head-begin-function
                nndoc-generate-article-function
-               nndoc-dissection-function)))
+               nndoc-dissection-function
+               nndoc-pre-dissection-function)))
     (while vars
       (set (pop vars) nil)))
   (let (defs)
@@ -447,6 +473,22 @@ from the document.")
        (forward-line 1)
        (goto-char (+ (point) (string-to-number (match-string 1))))))
 
+(defun nndoc-google-type-p ()
+  (when (re-search-forward "^=3D=3D 1 of [0-9]+ =3D=3D$" nil t)
+    t))
+
+(defun nndoc-decode-content-transfer-encoding ()
+  (let ((encoding
+        (save-restriction
+          (message-narrow-to-head)
+          (message-fetch-field "content-transfer-encoding"))))
+    (when (and encoding
+              (search-forward "\n\n" nil t))
+      (save-restriction
+       (narrow-to-region (point) (point-max))
+       (mm-decode-content-transfer-encoding
+        (intern (downcase (mail-header-strip encoding))))))))
+
 (defun nndoc-babyl-type-p ()
   (when (re-search-forward "\^_\^L *\n" nil t)
     t))
@@ -562,8 +604,7 @@ from the document.")
 (defun nndoc-generate-clari-briefs-head (article)
   (let ((entry (cdr (assq article nndoc-dissection-alist)))
        subject from)
-    (save-excursion
-      (set-buffer nndoc-current-buffer)
+    (with-current-buffer nndoc-current-buffer
       (save-restriction
        (narrow-to-region (car entry) (nth 3 entry))
        (goto-char (point-min))
@@ -622,39 +663,65 @@ from the document.")
 (defun nndoc-slack-digest-type-p ()
   0)
 
+(defun nndoc-git-type-p ()
+  (and (search-forward "\n- Log ---" nil t)
+       (search-forward "\ncommit " nil t)
+       (search-forward "\nAuthor: " nil t)))
+
+(defun nndoc-transform-git-article (article)
+  (goto-char (point-min))
+  (when (re-search-forward "^Author: " nil t)
+    (replace-match "From: " t t)))
+
+(defun nndoc-transform-git-headers (entry)
+  (goto-char (point-min))
+  (when (re-search-forward "^Author: " nil t)
+    (replace-match "From: " t t))
+  (let (subject)
+    (with-current-buffer nndoc-current-buffer
+      (goto-char (car entry))
+      (when (search-forward "\n\n" nil t)
+       (setq subject (buffer-substring (point) (line-end-position)))))
+    (when subject
+      (goto-char (point-min))
+      (forward-line 1)
+      (insert (format "Subject: %s\n" subject)))))
+
 (defun nndoc-lanl-gov-announce-type-p ()
   (when (let ((case-fold-search nil))
-         (re-search-forward "^\\\\\\\\\nPaper\\( (\\*cross-listing\\*)\\)?: [a-zA-Z-\\.]+/[0-9]+" nil t))
+         (re-search-forward "^\\\\\\\\\n\\(Paper\\( (\\*cross-listing\\*)\\)?: [a-zA-Z-\\.]+/[0-9]+\\|arXiv:\\)" nil t))
     t))
 
 (defun nndoc-transform-lanl-gov-announce (article)
-  (goto-char (point-max))
-  (when (re-search-backward "^\\\\\\\\ +( *\\([^ ]*\\) , *\\([^ ]*\\))" nil t)
-    (replace-match "\n\nGet it at \\1 (\\2)" t nil))
-  (goto-char (point-min))
-  (while (re-search-forward "^\\\\\\\\$" nil t)
-    (replace-match "" t nil))
-  (goto-char (point-min))
-  (when (re-search-forward "^replaced with revised version +\\(.*[^ ]\\) +" nil t)
-    (replace-match "Date: \\1 (revised) " t nil))
-  (goto-char (point-min))
-  (unless (re-search-forward "^From" nil t)
+  (let ((case-fold-search nil))
+    (goto-char (point-max))
+    (when (re-search-backward "^\\\\\\\\ +( *\\([^ ]*\\) , *\\([^ ]*\\))" nil t)
+      (replace-match "\n\nGet it at \\1 (\\2)" t nil))
+    (goto-char (point-min))
+    (while (re-search-forward "^\\\\\\\\$" nil t)
+      (replace-match "" t nil))
+    (goto-char (point-min))
+    (when (re-search-forward "^replaced with revised version +\\(.*[^ ]\\) +" nil t)
+      (replace-match "Date: \\1 (revised) " t nil))
     (goto-char (point-min))
-    (when (re-search-forward "^Authors?: \\(.*\\)" nil t)
+    (unless (re-search-forward "^From" nil t)
       (goto-char (point-min))
-      (insert "From: " (match-string 1) "\n"))))
+      (when (re-search-forward "^Authors?: \\(.*\\)" nil t)
+       (goto-char (point-min))
+       (insert "From: " (match-string 1) "\n")))
+    (when (re-search-forward "^arXiv:" nil t)
+      (replace-match "Paper: arXiv:" t nil))))
 
 (defun nndoc-generate-lanl-gov-head (article)
   (let ((entry (cdr (assq article nndoc-dissection-alist)))
        (from "<no address given>")
        subject date)
-    (save-excursion
-      (set-buffer nndoc-current-buffer)
+    (with-current-buffer nndoc-current-buffer
       (save-restriction
        (narrow-to-region (car entry) (nth 1 entry))
        (goto-char (point-min))
-       (when (looking-at "^Paper.*: \\([a-zA-Z-\\.]+/[0-9]+\\)")
-         (setq subject (concat " (" (match-string 1) ")"))
+       (when (looking-at "^\\(Paper.*: \\|arXiv:\\)\\([0-9a-zA-Z-\\./]+\\)")
+         (setq subject (concat " (" (match-string 2) ")"))
          (when (re-search-forward "^From: \\(.*\\)" nil t)
            (setq from (concat "<"
                               (cadr (funcall gnus-extract-address-components
@@ -686,7 +753,7 @@ from the document.")
   (looking-at "JMF"))
 
 (defun nndoc-oe-dbx-type-p ()
-  (looking-at (mm-string-as-multibyte "\317\255\022\376")))
+  (looking-at (mm-string-to-multibyte "\317\255\022\376")))
 
 (defun nndoc-read-little-endian ()
   (+ (prog1 (char-after) (forward-char 1))
@@ -740,7 +807,7 @@ from the document.")
        (setq p (1+ (nth 3 blk)))))
     (goto-char begin)
     (while (re-search-forward "\r$" nil t)
-      (delete-backward-char 1))
+      (delete-char -1))
     (when head
       (goto-char begin)
       (when (search-forward "\n\n" nil t)
@@ -800,12 +867,14 @@ from the document.")
        (first t)
        art-begin head-begin head-end body-begin body-end)
     (setq nndoc-dissection-alist nil)
-    (save-excursion
-      (set-buffer nndoc-current-buffer)
+    (with-current-buffer nndoc-current-buffer
       (goto-char (point-min))
       ;; Remove blank lines.
       (while (eq (following-char) ?\n)
        (delete-char 1))
+      (when nndoc-pre-dissection-function
+       (save-excursion
+         (funcall nndoc-pre-dissection-function)))
       (if nndoc-dissection-function
          (funcall nndoc-dissection-function)
        ;; Find the beginning of the file.
@@ -848,7 +917,8 @@ from the document.")
            (setq body-end (point))
            (push (list (incf i) head-begin head-end body-begin body-end
                        (count-lines body-begin body-end))
-                 nndoc-dissection-alist)))))))
+                 nndoc-dissection-alist)))))
+    (setq nndoc-dissection-alist (nreverse nndoc-dissection-alist))))
 
 (defun nndoc-article-begin ()
   (if nndoc-article-begin-function
@@ -870,8 +940,7 @@ When a MIME entity contains sub-entities, dissection produces one article for
 the header of this entity, and one article per sub-entity."
   (setq nndoc-dissection-alist nil
        nndoc-mime-split-ordinal 0)
-  (save-excursion
-    (set-buffer nndoc-current-buffer)
+  (with-current-buffer nndoc-current-buffer
     (nndoc-dissect-mime-parts-sub (point-min) (point-max) nil nil nil)))
 
 (defun nndoc-dissect-mime-parts-sub (head-begin body-end article-insert
@@ -899,15 +968,61 @@ PARENT is the message-ID of the parent summary line, or nil for none."
     (goto-char head-begin)
     (setq content-type (message-fetch-field "Content-Type"))
     (when content-type
-      (when (string-match
-            "^ *\\([^ \t\n/;]+\\)/\\([^ \t\n/;]+\\)" content-type)
+      (with-temp-buffer
+       (insert content-type)
+       (goto-char (point-min))
+       (when (re-search-forward ";[\t\n ]*name=\\([\"']\\|\\([^\t\n\r ]+\\)\\)"
+                                nil t)
+            (setq subject (or (match-string 2)
+                              (progn
+                                (goto-char (match-beginning 1))
+                                (condition-case nil
+                                    (progn
+                                      (forward-sexp 1)
+                                      (buffer-substring
+                                       (1+ (match-beginning 1)) (1- (point))))
+                                  (error nil)))))))
+      (when (or (string-match "^ *\\([^ \t\n/;]+\\)/\\([^ \t\n/;]+\\)"
+                             content-type)
+               ;; Guess Content-Type from the file name extention.
+               ;; Some mailer sends a part without type like this:
+               ;;  Content-Type: ; name="IMG_3156.JPG"
+               ;;  Content-Disposition: attachment; filename="IMG_3156.JPG"
+               (let ((tem (message-fetch-field "Content-Disposition"))
+                     (case-fold-search t)
+                     len)
+                 (when (and
+                        (setq tem
+                              (or (and tem
+                                       (mail-content-type-get
+                                        (mail-header-parse-content-disposition
+                                         tem)
+                                        'filename))
+                                  subject))
+                        (setq tem (file-name-extension tem))
+                        (require 'mailcap)
+                        (setq content-type
+                              (cdr (assoc (concat "." (downcase tem))
+                                          mailcap-mime-extensions)))
+                        (string-match "^ *\\([^ \t\n/;]+\\)/\\([^ \t\n/;]+\\)"
+                                      content-type))
+                   (save-match-data
+                     (goto-char (point-min))
+                     (when (re-search-forward "^Content-Type:\\([^;]*\\);"
+                                              nil t)
+                       (setq len (- (match-end 1) (match-beginning 1)
+                                    (length content-type) 1)
+                             head-end (- head-end len)
+                             body-begin (- body-begin len)
+                             body-end (- body-end len))
+                       (replace-match (concat "Content-Type: " content-type
+                                              ";"))))
+                   t)))
        (setq type (downcase (match-string 1 content-type))
              subtype (downcase (match-string 2 content-type))
              message-rfc822 (and (string= type "message")
                                  (string= subtype "rfc822"))
              multipart-any (string= type "multipart")))
-      (when (string-match ";[ \t\n]*name=\\([^ \t\n;]+\\)" content-type)
-       (setq subject (match-string 1 content-type)))
       (when (string-match "boundary=\"?\\([^\"\n]*[^\" \t\n]\\)" content-type)
        (setq boundary-regexp (concat "^--"
                                      (regexp-quote
@@ -1008,7 +1123,7 @@ as the last checked definition, if t or `first', add as the
 first definition, and if any other symbol, add after that
 symbol in the alist."
   ;; First remove any old instances.
-  (gnus-pull (car definition) nndoc-type-alist)
+  (gnus-alist-pull (car definition) nndoc-type-alist)
   ;; Then enter the new definition in the proper place.
   (cond
    ((or (null position) (eq position 'last))
@@ -1024,5 +1139,4 @@ symbol in the alist."
 
 (provide 'nndoc)
 
-;;; arch-tag: f5c2970e-0387-47ac-a0b3-6cc317dffabe
 ;;; nndoc.el ends here