(rfc2047-encoded-word-regexp): Support RFC 2231
[gnus] / lisp / rfc2047.el
index 2dd333a..ebd8a4a 100644 (file)
@@ -1,5 +1,5 @@
-;;; rfc2047.el --- Functions for encoding and decoding rfc2047 messages
-;; Copyright (C) 1998-2000 Free Software Foundation, Inc.
+;;; rfc2047.el --- functions for encoding and decoding rfc2047 messages
+;; Copyright (C) 1998, 1999, 2000, 2002, 2003 Free Software Foundation, Inc.
 
 ;; Author: Lars Magne Ingebrigtsen <larsi@gnus.org>
 ;;     MORIOKA Tomohiko <morioka@jaist.ac.jp>
 
 ;;; Commentary:
 
+;; RFC 2047 is "MIME (Multipurpose Internet Mail Extensions) Part
+;; Three:  Message Header Extensions for Non-ASCII Text".
+
 ;;; Code:
 
-(eval-and-compile
-  (eval
-   '(unless (fboundp 'base64-decode-string)
-      (require 'base64))))
+(eval-when-compile
+  (require 'cl)
+  (defvar message-posting-charset))
 
 (require 'qp)
 (require 'mm-util)
-(require 'ietf-drums)
+;; Fixme: Avoid this (used for mail-parse-charset) mm dependence on gnus.
 (require 'mail-prsvr)
+(require 'base64)
+(autoload 'mm-body-7-or-8 "mm-bodies")
 
 (defvar rfc2047-header-encoding-alist
   '(("Newsgroups" . nil)
+    ("Followup-To" . nil)
     ("Message-ID" . nil)
+    ("\\(Resent-\\)?\\(From\\|Cc\\|To\\|Bcc\\|Reply-To\\|Sender\
+\\|Mail-Followup-To\\|Mail-Copies-To\\|Approved\\)" . address-mime)
     (t . mime))
   "*Header/encoding method alist.
 The list is traversed sequentially.  The keys can either be
-header regexps or `t'.
+header regexps or t.
 
 The values can be:
 
 1) nil, in which case no encoding is done;
 2) `mime', in which case the header will be encoded according to RFC2047;
-3) a charset, in which case it will be encoded as that charse;
-4) `default', in which case the field will be encoded as the rest
+3) `address-mime', like `mime', but takes account of the rules for address
+   fields (where quoted strings and comments must be treated separately);
+4) a charset, in which case it will be encoded as that charset;
+5) `default', in which case the field will be encoded as the rest
    of the article.")
 
 (defvar rfc2047-charset-encoding-alist
@@ -58,19 +67,25 @@ The values can be:
     (iso-8859-4 . Q)
     (iso-8859-5 . B)
     (koi8-r . B)
-    (iso-8859-7 . Q)
-    (iso-8859-8 . Q)
+    (iso-8859-7 . B)
+    (iso-8859-8 . B)
     (iso-8859-9 . Q)
+    (iso-8859-14 . Q)
+    (iso-8859-15 . Q)
     (iso-2022-jp . B)
     (iso-2022-kr . B)
     (gb2312 . B)
+    (big5 . B)
+    (cn-big5 . B)
     (cn-gb . B)
     (cn-gb-2312 . B)
     (euc-kr . B)
     (iso-2022-jp-2 . B)
-    (iso-2022-int-1 . B))
+    (iso-2022-int-1 . B)
+    (viscii . Q))
   "Alist of MIME charsets to RFC2047 encodings.
-Valid encodings are nil, `Q' and `B'.")
+Valid encodings are nil, `Q' and `B'.  These indicate binary (no) encoding,
+quoted-printable and base64 respectively.")
 
 (defvar rfc2047-encoding-function-alist
   '((Q . rfc2047-q-encode-region)
@@ -78,15 +93,29 @@ Valid encodings are nil, `Q' and `B'.")
     (nil . ignore))
   "Alist of RFC2047 encodings to encoding functions.")
 
-(defvar rfc2047-q-encoding-alist
-  '(("\\(From\\|Cc\\|To\\|Bcc\||Reply-To\\):" . "-A-Za-z0-9!*+/=_")
-    ("." . "^\000-\007\013\015-\037\200-\377=_?"))
-  "Alist of header regexps and valid Q characters.")
-
 ;;;
 ;;; Functions for encoding RFC2047 messages
 ;;;
 
+(defun rfc2047-qp-or-base64 ()
+  "Return the type with which to encode the buffer.
+This is either `base64' or `quoted-printable'."
+  (save-excursion
+    (let ((limit (min (point-max) (+ 2000 (point-min))))
+         (n8bit 0))
+      (goto-char (point-min))
+      (skip-chars-forward "\x20-\x7f\r\n\t" limit)
+      (while (< (point) limit)
+       (incf n8bit)
+       (forward-char 1)
+       (skip-chars-forward "\x20-\x7f\r\n\t" limit))
+      (if (or (< (* 6 n8bit) (- limit (point-min)))
+             ;; Don't base64, say, a short line with a single
+             ;; non-ASCII char when splitting parts by charset.
+             (= n8bit 1))
+         'quoted-printable
+       'base64))))
+
 (defun rfc2047-narrow-to-field ()
   "Narrow the buffer to the header on the current line."
   (beginning-of-line)
@@ -95,188 +124,442 @@ Valid encodings are nil, `Q' and `B'.")
    (progn
      (forward-line 1)
      (if (re-search-forward "^[^ \n\t]" nil t)
-        (progn
-          (beginning-of-line)
-          (point))
+        (point-at-bol)
        (point-max))))
   (goto-char (point-min)))
 
+(defun rfc2047-field-value ()
+  "Return the value of the field at point."
+  (save-excursion
+    (save-restriction
+      (rfc2047-narrow-to-field)
+      (re-search-forward ":[ \t\n]*" nil t)
+      (buffer-substring (point) (point-max)))))
+
+(defvar rfc2047-encoding-type 'address-mime
+  "The type of encoding done by `rfc2047-encode-region'.
+This should be dynamically bound around calls to
+`rfc2047-encode-region' to either `mime' or `address-mime'.  See
+`rfc2047-header-encoding-alist', for definitions.")
+
 (defun rfc2047-encode-message-header ()
   "Encode the message header according to `rfc2047-header-encoding-alist'.
 Should be called narrowed to the head of the message."
   (interactive "*")
   (save-excursion
     (goto-char (point-min))
-    (let ((alist rfc2047-header-encoding-alist)
-         elem method)
+    (let (alist elem method)
       (while (not (eobp))
        (save-restriction
          (rfc2047-narrow-to-field)
-         (when (rfc2047-encodable-p)
+         (if (not (rfc2047-encodable-p))
+             (prog1
+               (if (and (eq (mm-body-7-or-8) '8bit)
+                        (mm-multibyte-p)
+                        (mm-coding-system-p
+                         (car message-posting-charset)))
+                   ;; 8 bit must be decoded.
+                   (mm-encode-coding-region
+                    (point-min) (point-max)
+                    (mm-charset-to-coding-system
+                     (car message-posting-charset))))
+               ;; No encoding necessary, but folding is nice
+               (rfc2047-fold-region
+                (save-excursion
+                  (goto-char (point-min))
+                  (skip-chars-forward "^:")
+                  (when (looking-at ": ")
+                    (forward-char 2))
+                  (point))
+                (point-max)))
            ;; We found something that may perhaps be encoded.
+           (setq method nil
+                 alist rfc2047-header-encoding-alist)
            (while (setq elem (pop alist))
              (when (or (and (stringp (car elem))
                             (looking-at (car elem)))
                        (eq (car elem) t))
                (setq alist nil
                      method (cdr elem))))
+           (goto-char (point-min))
+           (re-search-forward "^[^:]+: *" nil t)
            (cond
+            ((eq method 'address-mime)
+             (rfc2047-encode-region (point) (point-max)))
             ((eq method 'mime)
-             (rfc2047-encode-region (point-min) (point-max))
-             (rfc2047-fold-region (point-min) (point-max)))
+             (let ((rfc2047-encoding-type 'mime))
+               (rfc2047-encode-region (point) (point-max))))
+            ((eq method 'default)
+             (if (and (featurep 'mule)
+                      (if (boundp 'default-enable-multibyte-characters)
+                          default-enable-multibyte-characters)
+                      mail-parse-charset)
+                 (mm-encode-coding-region (point) (point-max)
+                                          mail-parse-charset)))
+            ;; We get this when CC'ing messsages to newsgroups with
+            ;; 8-bit names.  The group name mail copy just got
+            ;; unconditionally encoded.  Previously, it would ask
+            ;; whether to encode, which was quite confusing for the
+            ;; user.  If the new behaviour is wrong, tell me. I have
+            ;; left the old code commented out below.
+            ;; -- Per Abrahamsen <abraham@dina.kvl.dk> Date: 2001-10-07.
+            ;; Modified by Dave Love, with the commented-out code changed
+            ;; in accordance with changes elsewhere.
+            ((null method)
+             (rfc2047-encode-region (point) (point-max)))
+;;;         ((null method)
+;;;          (if (or (message-options-get
+;;;                   'rfc2047-encode-message-header-encode-any)
+;;;                  (message-options-set
+;;;                   'rfc2047-encode-message-header-encode-any
+;;;                   (y-or-n-p
+;;;                    "Some texts are not encoded. Encode anyway?")))
+;;;              (rfc2047-encode-region (point-min) (point-max))
+;;;            (error "Cannot send unencoded text")))
+            ((mm-coding-system-p method)
+             (if (and (featurep 'mule)
+                      (if (boundp 'default-enable-multibyte-characters)
+                          default-enable-multibyte-characters))
+                 (mm-encode-coding-region (point) (point-max) method)))
             ;; Hm.
             (t)))
-         (goto-char (point-max)))))
-    (when mail-parse-charset
-      (encode-coding-region
-       (point-min) (point-max) mail-parse-charset))))
+         (goto-char (point-max)))))))
+
+;; Fixme: This, and the require below may not be the Right Thing, but
+;; should be safe just before release.  -- fx 2001-02-08
+(eval-when-compile (defvar message-posting-charset))
 
-(defun rfc2047-encodable-p (&optional header)
-  "Say whether the current (narrowed) buffer contains characters that need encoding in headers."
+(defun rfc2047-encodable-p ()
+  "Return non-nil if any characters in current buffer need encoding in headers.
+The buffer may be narrowed."
+  (require 'message)                   ; for message-posting-charset
   (let ((charsets
-        (mapcar
-         'mm-mime-charset
-         (mm-find-charset-region (point-min) (point-max))))
-       (cs (list 'us-ascii (car message-posting-charset)))
-       found)
-    (while charsets
-      (unless (memq (pop charsets) cs)
-       (setq found t)))
-    found))
-
-(defun rfc2047-dissect-region (b e)
-  "Dissect the region between B and E into words."
-  (let ((all-specials (concat ietf-drums-tspecials " \t\n\r"))
-       (special-list (mapcar 'identity ietf-drums-tspecials))
-       (blank-list '(?  ?\t ?\n ?\r))
-       words current cs state mail-parse-mule-charset)
-    (save-restriction
-      (narrow-to-region b e)
-      (goto-char (point-min))
-      (skip-chars-forward all-specials)
-      (setq b (point))
-      (while (not (eobp))
-       (cond
-        ((not state)
-         (if (memq (char-after) blank-list)
-             (setq state 'blank)
-           (setq state 'word)
-           (if (not (eq (setq cs (mm-charset-after)) 'ascii))
-               (setq current cs)))
-         (setq b (point)))
-        ((eq state 'blank)
-         (cond 
-          ((memq (char-after) special-list)
-           (setq state nil))
-          ((memq (char-after) blank-list))
-          (t
-           (setq state 'word)
-           (if (not (eq (setq cs (mm-charset-after)) 'ascii))
-               (setq current cs)))))
-        ((eq state 'word)
-         (cond 
-          ((memq (char-after) special-list)
-           (setq state nil)
-           (push (list b (point) current) words)
-           (setq current nil))
-          ((memq (char-after) blank-list)
-           (setq state 'blank)
-           (push (list b (point) current) words)
-           (setq current nil)
-           (setq b (point)))
-          ((or (eq (setq cs (mm-charset-after)) 'ascii)
-               (if current
-                   (eq current cs)
-                 (setq current cs))))