Merge from emacs--devo--0
[gnus] / lisp / mm-bodies.el
index b28c50c..e7743d1 100644 (file)
@@ -1,7 +1,7 @@
 ;;; mm-bodies.el --- Functions for decoding MIME things
 
-;; Copyright (C) 1998, 1999, 2000, 2001
-;;        Free Software Foundation, Inc.
+;; Copyright (C) 1998, 1999, 2000, 2001, 2002, 2003, 2004,
+;;   2005, 2006, 2007 Free Software Foundation, Inc.
 
 ;; Author: Lars Magne Ingebrigtsen <larsi@gnus.org>
 ;;     MORIOKA Tomohiko <morioka@jaist.ac.jp>
@@ -9,7 +9,7 @@
 
 ;; GNU Emacs is free software; you can redistribute it and/or modify
 ;; it under the terms of the GNU General Public License as published by
-;; the Free Software Foundation; either version 2, or (at your option)
+;; the Free Software Foundation; either version 3, or (at your option)
 ;; any later version.
 
 ;; GNU Emacs is distributed in the hope that it will be useful,
 
 ;; You should have received a copy of the GNU General Public License
 ;; along with GNU Emacs; see the file COPYING.  If not, write to the
-;; Free Software Foundation, Inc., 59 Temple Place - Suite 330,
-;; Boston, MA 02111-1307, USA.
+;; Free Software Foundation, Inc., 51 Franklin Street, Fifth Floor,
+;; Boston, MA 02110-1301, USA.
 
 ;;; Commentary:
 
 ;;; Code:
 
+;; For Emacs < 22.2.
 (eval-and-compile
-  (or (fboundp  'base64-decode-region)
-      (require 'base64)))
-
-(eval-when-compile
-  (defvar mm-uu-decode-function)
-  (defvar mm-uu-binhex-decode-function))
+  (unless (fboundp 'declare-function) (defmacro declare-function (&rest r))))
 
 (require 'mm-util)
 (require 'rfc2047)
 (require 'mm-encode)
 
-;; 8bit treatment gets any char except: 0x32 - 0x7f, CR, LF, TAB, BEL,
+(defvar mm-uu-yenc-decode-function)
+(defvar mm-uu-decode-function)
+(defvar mm-uu-binhex-decode-function)
+
+;; 8bit treatment gets any char except: 0x32 - 0x7f, LF, TAB, BEL,
 ;; BS, vertical TAB, form feed, and ^_
-(defvar mm-7bit-chars "\x20-\x7f\r\n\t\x7\x8\xb\xc\x1f")
+;;
+;; Note that CR is *not* included, as that would allow a non-paired CR
+;; in the body contrary to RFC 2822:
+;;
+;;   - CR and LF MUST only occur together as CRLF; they MUST NOT
+;;     appear independently in the body.
+
+(defvar mm-7bit-chars "\x20-\x7f\n\t\x7\x8\xb\xc\x1f")
 
 (defcustom mm-body-charset-encoding-alist
   '((iso-2022-jp . 7bit)
-    (iso-2022-jp-2 . 7bit))
+    (iso-2022-jp-2 . 7bit)
+    ;; We MUST encode UTF-16 because it can contain \0's which is
+    ;; known to break servers.
+    ;; Note: UTF-16 variants are invalid for text parts [RFC 2781],
+    ;; so this can't happen :-/.
+    ;; PPS: Yes, it can happen if the user specifies UTF-16 in the MML
+    ;; markup. - jh.
+    (utf-16 . base64)
+    (utf-16be . base64)
+    (utf-16le . base64))
   "Alist of MIME charsets to encodings.
 Valid encodings are `7bit', `8bit', `quoted-printable' and `base64'."
   :type '(repeat (cons (symbol :tag "charset")
@@ -55,12 +71,15 @@ Valid encodings are `7bit', `8bit', `quoted-printable' and `base64'."
                               (const base64))))
   :group 'mime)
 
+(autoload 'message-options-get "message")
+(declare-function message-options-set "message" (symbol value))
+
 (defun mm-encode-body (&optional charset)
   "Encode a body.
 Should be called narrowed to the body that is to be encoded.
-If there is more than one non-ASCII MULE charset, then list of found
-MULE charsets are returned.
-If CHARSET is non-nil, it is used.
+If there is more than one non-ASCII MULE charset in the body, then the
+list of MULE charsets found is returned.
+If CHARSET is non-nil, it is used as the MIME charset to encode the body.
 If successful, the MIME charset is returned.
 If no encoding was done, nil is returned."
   (if (not (mm-multibyte-p))
@@ -74,19 +93,19 @@ If no encoding was done, nil is returned."
                    (message-options-get 'mm-encody-body-charset)
                    (message-options-set
                     'mm-encody-body-charset
-                    (mm-read-charset "Charset used in the article: ")))
+                    (mm-read-coding-system "Charset used in the article: ")))
              ;; The logic in `mml-generate-mime-1' confirms that it's OK
              ;; to return nil here.
              nil)))
     (save-excursion
       (if charset
          (progn
-           (mm-encode-coding-region (point-min) (point-max) charset)
+           (mm-encode-coding-region (point-min) (point-max)
+                                    (mm-charset-to-coding-system charset))
            charset)
        (goto-char (point-min))
        (let ((charsets (mm-find-mime-charset-region (point-min) (point-max)
-                                                    mm-hack-charsets))
-             start)
+                                                    mm-hack-charsets)))
          (cond
           ;; No encoding.
           ((null charsets)
@@ -96,27 +115,14 @@ If no encoding was done, nil is returned."
            charsets)
           ;; We encode.
           (t
-           (setq charset (car charsets))
-           (while (not (eobp))
-             (if (eq (mm-charset-after) 'ascii)
-                 (when start
-                   (save-restriction
-                     (narrow-to-region start (point))
-                     (mm-encode-coding-region
-                      start (point) (mm-charset-to-coding-system charset))
-                     (goto-char (point-max)))
-                   (setq start nil))
-               (unless start
-                 (setq start (point))))
-             (forward-char 1))
-           (when start
-             (mm-encode-coding-region start (point)
-                                      (mm-charset-to-coding-system charset))
-             (setq start nil))
-           charset)))))))
+           (prog1
+               (setq charset (car charsets))
+             (mm-encode-coding-region (point-min) (point-max)
+                                      (mm-charset-to-coding-system charset))))
+          ))))))
 
 (defun mm-long-lines-p (length)
-  "Say whether any of the lines in the buffer is longer than LINES."
+  "Say whether any of the lines in the buffer is longer than LENGTH."
   (save-excursion
     (goto-char (point-min))
     (end-of-line)
@@ -137,13 +143,15 @@ If no encoding was done, nil is returned."
        (longp (mm-long-lines-p 1000)))
     (require 'message)
     (cond
-     ((and (not mm-use-ultra-safe-encoding)
-          (not longp)
+     ((and (not longp)
+          (not (and mm-use-ultra-safe-encoding
+                    (or (save-excursion (re-search-forward " $" nil t))
+                        (save-excursion (re-search-forward "^From " nil t)))))
           (eq bits '7bit))
       bits)
      ((and (not mm-use-ultra-safe-encoding)
           (not longp)
-          (not (eq '7bit (cdr (assq charset mm-body-charset-encoding-alist))))
+          (not (cdr (assq charset mm-body-charset-encoding-alist)))
           (or (eq t (cdr message-posting-charset))
               (memq charset (cdr message-posting-charset))
               (eq charset mail-parse-charset)))
@@ -159,27 +167,12 @@ If no encoding was done, nil is returned."
 
 (defun mm-body-7-or-8 ()
   "Say whether the body is 7bit or 8bit."
-  (cond
-   ((not (featurep 'mule))
-    (if (save-excursion
-         (goto-char (point-min))
-         (skip-chars-forward mm-7bit-chars)
-         (eobp))
-       '7bit
-      '8bit))
-   (t
-    ;; Mule version
-    (if (and (null (delq 'ascii
-                        (mm-find-charset-region (point-min) (point-max))))
-            ;;!!!The following is necessary because the function
-            ;;!!!above seems to return the wrong result under
-            ;;!!!Emacs 20.3.  Sometimes.
-            (save-excursion
-              (goto-char (point-min))
-              (skip-chars-forward mm-7bit-chars)
-              (eobp)))
-       '7bit
-      '8bit))))
+  (if (save-excursion
+       (goto-char (point-min))
+       (skip-chars-forward mm-7bit-chars)
+       (eobp))
+      '7bit
+    '8bit))
 
 ;;;
 ;;; Functions for decoding
@@ -237,28 +230,34 @@ If TYPE is `text/plain' CRLF->LF translation may occur."
         (message "Error while decoding: %s" error)
         nil))
     (when (and
+          type
           (memq encoding '(base64 x-uuencode x-uue x-binhex x-yenc))
-          (equal type "text/plain"))
+          (string-match "\\`text/" type))
       (goto-char (point-min))
       (while (search-forward "\r\n" nil t)
        (replace-match "\n" t t)))))
 
-(defun mm-decode-body (charset &optional encoding type force)
-  "Decode the current article that has been encoded with ENCODING.
-The characters in CHARSET should then be decoded.  If FORCE is non-nil
-use the supplied charset unconditionally."
-  (if (stringp charset)
-      (setq charset (intern (downcase charset))))
-  (if (or (not charset)
-         (eq 'gnus-all mail-parse-ignored-charsets)
-         (memq 'gnus-all mail-parse-ignored-charsets)
-         (memq charset mail-parse-ignored-charsets))
-      (setq charset mail-parse-charset))
+(defun mm-decode-body (charset &optional encoding type)
+  "Decode the current article that has been encoded with ENCODING to CHARSET.
+ENCODING is a MIME content transfer encoding.
+CHARSET is the MIME charset with which to decode the data after transfer
+decoding.  If it is nil, default to `mail-parse-charset'."
+  (when (stringp charset)
+    (setq charset (intern (downcase charset))))
+  (when (or (not charset)
+           (eq 'gnus-all mail-parse-ignored-charsets)
+           (memq 'gnus-all mail-parse-ignored-charsets)
+           (memq charset mail-parse-ignored-charsets))
+    (setq charset mail-parse-charset))
   (save-excursion
     (when encoding
       (mm-decode-content-transfer-encoding encoding type))
-    (when (featurep 'mule)
-      (let ((coding-system (mm-charset-to-coding-system charset)))
+    (when (and (featurep 'mule) ;; Fixme: Wrong test for unibyte session.
+              (not (eq charset 'gnus-decoded)))
+      (let ((coding-system (mm-charset-to-coding-system
+                           ;; Allow overwrite using
+                           ;; `mm-charset-override-alist'.
+                           charset nil t)))
        (if (and (not coding-system)
                 (listp mail-parse-ignored-charsets)
                 (memq 'gnus-unknown mail-parse-ignored-charsets))
@@ -270,26 +269,13 @@ use the supplied charset unconditionally."
                   ;;in XEmacs
                   (mm-multibyte-p)
                   (or (not (eq coding-system 'ascii))
-                      (setq coding-system mail-parse-charset))
-                  (not (eq coding-system 'gnus-decoded)))
-         (if force
-             (mm-decode-coding-region (point-min) (point-max)
-                                             coding-system)
-           (mm-decode-coding-region-safely (point-min) (point-max)
-                                           coding-system)))))))
-
-(defun mm-decode-coding-region-safely (start end coding-system)
-  "Decode region between START and END with CODING-SYSTEM.
-If CODING-SYSTEM is not a valid coding system for the text, let Emacs
-decide which coding system to use."
-  (let* ((decoded (mm-decode-coding-string (buffer-substring start end)
-                                          coding-system))
-        (charsets (find-charset-string decoded)))
-    (if (or (memq 'eight-bit-control charsets)
-           (memq 'eight-bit-graphic charsets))
-       (mm-decode-coding-region start end 'undecided)
-      (delete-region start end)
-      (insert decoded))))
+                      (setq coding-system mail-parse-charset)))
+         (mm-decode-coding-region (point-min) (point-max)
+                                  coding-system))
+       (setq buffer-file-coding-system
+             (if (boundp 'last-coding-system-used)
+                 (symbol-value 'last-coding-system-used)
+               coding-system))))))
 
 (defun mm-decode-string (string charset)
   "Decode STRING with CHARSET."
@@ -302,7 +288,11 @@ decide which coding system to use."
     (setq charset mail-parse-charset))
   (or
    (when (featurep 'mule)
-     (let ((coding-system (mm-charset-to-coding-system charset)))
+     (let ((coding-system (mm-charset-to-coding-system
+                          charset
+                          ;; Allow overwrite using
+                          ;; `mm-charset-override-alist'.
+                          nil t)))
        (if (and (not coding-system)
                (listp mail-parse-ignored-charsets)
                (memq 'gnus-unknown mail-parse-ignored-charsets))
@@ -317,4 +307,5 @@ decide which coding system to use."
 
 (provide 'mm-bodies)
 
+;;; arch-tag: 41104bb6-4443-4ca9-8d5c-ff87ecf27d8d
 ;;; mm-bodies.el ends here