* gnus-agent.el (gnus-agent-regenerate-group): New function.
[gnus] / lisp / rfc2047.el
index 182dab7..948e168 100644 (file)
@@ -1,5 +1,5 @@
 ;;; rfc2047.el --- Functions for encoding and decoding rfc2047 messages
-;; Copyright (C) 1998, 1999, 2000 Free Software Foundation, Inc.
+;; Copyright (C) 1998, 1999, 2000, 2001, 2002 Free Software Foundation, Inc.
 
 ;; Author: Lars Magne Ingebrigtsen <larsi@gnus.org>
 ;;     MORIOKA Tomohiko <morioka@jaist.ac.jp>
 
 ;;; Commentary:
 
+;; RFC 2047 is "MIME (Multipurpose Internet Mail Extensions) Part
+;; Three:  Message Header Extensions for Non-ASCII Text".
+
 ;;; Code:
 
-(eval-and-compile
-  (eval
-   '(unless (fboundp 'base64-decode-string)
-      (require 'base64))))
+(eval-when-compile (require 'cl))
 
 (require 'qp)
 (require 'mm-util)
 (require 'ietf-drums)
 (require 'mail-prsvr)
+(require 'base64)
+;; Fixme: Avoid this (for gnus-point-at-...) mm dependence on gnus.
+(require 'gnus-util)
+(autoload 'mm-body-7-or-8 "mm-bodies")
 
 (defvar rfc2047-header-encoding-alist
   '(("Newsgroups" . nil)
     ("Message-ID" . nil)
+    ("\\(Resent-\\)?\\(From\\|Cc\\|To\\|Bcc\\|Reply-To\\|Sender\\)" .
+     "-A-Za-z0-9!*+/=_")
     (t . mime))
   "*Header/encoding method alist.
 The list is traversed sequentially.  The keys can either be
-header regexps or `t'.
+header regexps or t.
 
 The values can be:
 
@@ -48,7 +54,8 @@ The values can be:
 2) `mime', in which case the header will be encoded according to RFC2047;
 3) a charset, in which case it will be encoded as that charset;
 4) `default', in which case the field will be encoded as the rest
-   of the article.")
+   of the article.
+5) a string, like `mime', expect for using it as word-chars.")
 
 (defvar rfc2047-charset-encoding-alist
   '((us-ascii . nil)
@@ -61,9 +68,13 @@ The values can be:
     (iso-8859-7 . Q)
     (iso-8859-8 . Q)
     (iso-8859-9 . Q)
+    (iso-8859-14 . Q)
+    (iso-8859-15 . Q)
     (iso-2022-jp . B)
     (iso-2022-kr . B)
     (gb2312 . B)
+    (big5 . B)
+    (cn-big5 . B)
     (cn-gb . B)
     (cn-gb-2312 . B)
     (euc-kr . B)
@@ -79,8 +90,12 @@ Valid encodings are nil, `Q' and `B'.")
   "Alist of RFC2047 encodings to encoding functions.")
 
 (defvar rfc2047-q-encoding-alist
-  '(("\\(From\\|Cc\\|To\\|Bcc\||Reply-To\\):" . "-A-Za-z0-9!*+/=_")
-    ("." . "^\000-\007\011\013\015-\037\200-\377=_?"))
+  '(("\\(Resent-\\)?\\(From\\|Cc\\|To\\|Bcc\\|Reply-To\\|Sender\\):"
+     . "-A-Za-z0-9!*+/" )
+    ;; = (\075), _ (\137), ? (\077) are used in the encoded word.
+    ;; Avoid using 8bit characters.
+    ;; Equivalent to "^\000-\007\011\013\015-\037\200-\377=_?"
+    ("." . "\010\012\014\040-\074\076\100-\136\140-\177"))
   "Alist of header regexps and valid Q characters.")
 
 ;;;
@@ -101,28 +116,48 @@ Valid encodings are nil, `Q' and `B'.")
        (point-max))))
   (goto-char (point-min)))
 
+(defun rfc2047-field-value ()
+  "Return the value of the field at point."
+  (save-excursion
+    (save-restriction
+      (rfc2047-narrow-to-field)
+      (re-search-forward ":[ \t\n]*" nil t)
+      (buffer-substring (point) (point-max)))))
+
 (defun rfc2047-encode-message-header ()
   "Encode the message header according to `rfc2047-header-encoding-alist'.
 Should be called narrowed to the head of the message."
   (interactive "*")
   (save-excursion
     (goto-char (point-min))
-    (let ((alist rfc2047-header-encoding-alist)
-         elem method)
+    (let (alist elem method)
       (while (not (eobp))
        (save-restriction
          (rfc2047-narrow-to-field)
          (if (not (rfc2047-encodable-p))
-             (if (and (eq (mm-body-7-or-8) '8bit)
-                      (mm-multibyte-p)
-                      (mm-coding-system-p
-                       (car message-posting-charset)))
-                      ;; 8 bit must be decoded.
-                      ;; Is message-posting-charset a coding system?
-                      (mm-encode-coding-region 
-                       (point-min) (point-max) 
-                       (car message-posting-charset)))
+             (prog1
+               (if (and (eq (mm-body-7-or-8) '8bit)
+                        (mm-multibyte-p)
+                        (mm-coding-system-p
+                         (car message-posting-charset)))
+                   ;; 8 bit must be decoded.
+                   ;; Is message-posting-charset a coding system?
+                   (mm-encode-coding-region
+                    (point-min) (point-max)
+                    (car message-posting-charset))
+                 nil)
+               ;; No encoding necessary, but folding is nice
+               (rfc2047-fold-region
+                (save-excursion
+                  (goto-char (point-min))
+                  (skip-chars-forward "^:")
+                  (when (looking-at ": ")
+                    (forward-char 2))
+                  (point))
+                (point-max)))
            ;; We found something that may perhaps be encoded.
+           (setq method nil
+                 alist rfc2047-header-encoding-alist)
            (while (setq elem (pop alist))
              (when (or (and (stringp (car elem))
                             (looking-at (car elem)))
@@ -130,15 +165,57 @@ Should be called narrowed to the head of the message."
                (setq alist nil
                      method (cdr elem))))
            (cond
+            ((stringp method)
+             (rfc2047-encode-region (point-min) (point-max) method))
             ((eq method 'mime)
-             (rfc2047-encode-region (point-min) (point-max))
-             (rfc2047-fold-region (point-min) (point-max)))
+             (rfc2047-encode-region (point-min) (point-max)))
+            ((eq method 'default)
+             (if (and (featurep 'mule)
+                      (if (boundp 'default-enable-multibyte-characters)
+                          default-enable-multibyte-characters)
+                      mail-parse-charset)
+                 (mm-encode-coding-region (point-min) (point-max)
+                                          mail-parse-charset)))
+            ;; We get this when CC'ing messsages to newsgroups with
+            ;; 8-bit names.  The group name mail copy just get
+            ;; unconditionally encoded.  Previously, it would ask
+            ;; whether to encode, which was quite confusing for the
+            ;; user.  If the new behaviour is wrong, tell me. I have
+            ;; left the old code commented out below.
+            ;; -- Per Abrahamsen <abraham@dina.kvl.dk> Date: 2001-10-07.
+            ((null method)
+             (when (delq 'ascii 
+                         (mm-find-charset-region (point-min) (point-max)))
+               (rfc2047-encode-region (point-min) (point-max))))
+;;;         ((null method)
+;;;          (and (delq 'ascii
+;;;                     (mm-find-charset-region (point-min)
+;;;                                             (point-max)))
+;;;               (if (or (message-options-get
+;;;                        'rfc2047-encode-message-header-encode-any)
+;;;                       (message-options-set
+;;;                        'rfc2047-encode-message-header-encode-any
+;;;                        (y-or-n-p
+;;;                         "Some texts are not encoded. Encode anyway?")))
+;;;                   (rfc2047-encode-region (point-min) (point-max))
+;;;                 (error "Cannot send unencoded text"))))
+            ((mm-coding-system-p method)
+             (if (and (featurep 'mule)
+                      (if (boundp 'default-enable-multibyte-characters)
+                          default-enable-multibyte-characters))
+                 (mm-encode-coding-region (point-min) (point-max) method)))
             ;; Hm.
             (t)))
          (goto-char (point-max)))))))
 
-(defun rfc2047-encodable-p (&optional header)
-  "Say whether the current (narrowed) buffer contains characters that need encoding in headers."
+;; Fixme: This, and the require below may not be the Right Thing, but
+;; should be safe just before release.  -- fx 2001-02-08
+(eval-when-compile (defvar message-posting-charset))
+
+(defun rfc2047-encodable-p ()
+  "Return non-nil if any characters in current buffer need encoding in headers.
+The buffer may be narrowed."
+  (require 'message)                   ; for message-posting-charset
   (let ((charsets
         (mapcar
          'mm-mime-charset
@@ -150,91 +227,94 @@ Should be called narrowed to the head of the message."
        (setq found t)))
     found))
 
-(defun rfc2047-dissect-region (b e)
+(defun rfc2047-dissect-region (b e &optional word-chars)
   "Dissect the region between B and E into words."
-  (let ((all-specials (concat ietf-drums-tspecials " \t\n\r"))
-       (special-list (mapcar 'identity ietf-drums-tspecials))
-       (blank-list '(?  ?\t ?\n ?\r))
-       words current cs state mail-parse-mule-charset)
+  (unless word-chars
+    ;; Anything except most CTLs, WSP
+    (setq word-chars "\010\012\014\041-\177"))
+  (let (mail-parse-mule-charset
+       words point current
+       result word)
     (save-restriction
       (narrow-to-region b e)
       (goto-char (point-min))
-      (skip-chars-forward all-specials)
-      (setq b (point))
+      (skip-chars-forward "\000-\177")
       (while (not (eobp))
-       (cond
-        ((not state)
-         (setq state 'word)
-         (if (not (eq (setq cs (mm-charset-after)) 'ascii))
-             (setq current cs))
-         (setq b (point)))
-        ((eq state 'blank)
-         (cond 
-          ((memq (char-after) special-list)
-           (setq state nil))
-          ((memq (char-after) blank-list))
-          (t
-           (setq state 'word)
-           (unless b
-               (setq b (point)))
-           (if (not (eq (setq cs (mm-charset-after)) 'ascii))
-               (setq current cs)))))
-        ((eq state 'word)
-         (cond 
-          ((memq (char-after) special-list)
-           (setq state nil)
-           (push (list b (point) current) words)
-           (setq current nil))
-          ((memq (char-after) blank-list)
-           (setq state 'blank)
-           (if (not current)
-               (setq b nil)
-             (push (list b (point) current) words)
-             (setq b (point))
-             (setq current nil)))
-          ((or (eq (setq cs (mm-charset-after)) 'ascii)
-               (if current
-                   (eq current cs)
-                 (setq current cs))))
-          (t
-           (push (list b (point) current) words)
-           (setq current cs)
-           (setq b (point))))))
-       (if state
-           (forward-char)
-         (skip-chars-forward all-specials)))
-      (if (eq state 'word)
-         (push (list b (point) current) words)))
-    words))
-
-(defun rfc2047-encode-region (b e)
-  "Encode all encodable words in REGION."
-  (let ((words (rfc2047-dissect-region b e))
-       beg end current word)
-    (while (setq word (pop words))
-      (if (equal (nth 2 word) current)
-         (setq beg (nth 0 word))
-       (when current
-         (when (prog1 (and (eq beg (nth 1 word)) (nth 2 word))
-                 (rfc2047-encode beg end current))
-           (goto-char beg)
-           (insert " ")))
-       (setq current (nth 2 word)
-             beg (nth 0 word)
-             end (nth 1 word))))
-    (when current
-      (rfc2047-encode beg end current))))
-
-(defun rfc2047-encode-string (string)
+       (setq point (point))
+       (skip-chars-backward word-chars b)
+       (unless (eq b (point))
+         (push (cons (buffer-substring b (point)) nil) words))
+       (setq b (point))
+       (goto-char point)
+       (setq current (mm-charset-after))
+       (forward-char 1)
+       (skip-chars-forward word-chars)
+       (while (and (not (eobp))
+                   (eq (mm-charset-after) current))
+         (forward-char 1)
+         (skip-chars-forward word-chars))
+       (unless (eq b (point))
+         (push (cons (buffer-substring b (point)) current) words))
+       (setq b (point))
+       (skip-chars-forward "\000-\177"))
+      (unless (eq b (point))
+       (push (cons (buffer-substring b (point)) nil) words)))
+    ;; merge adjacent words
+    (setq word (pop words))
+    (while word
+      (if (and (cdr word)
+              (caar words)
+              (not (cdar words))
+              (not (string-match "[^ \t]" (caar words))))
+         (if (eq (cdr (nth 1 words)) (cdr word))
+             (progn
+               (setq word (cons (concat
+                                 (car (nth 1 words)) (caar words)
+                                 (car word))
+                                (cdr word)))
+               (pop words)
+               (pop words))
+           (push (cons (concat (caar words) (car word)) (cdr word))
+                 result)
+           (pop words)
+           (setq word (pop words)))
+       (push word result)
+       (setq word (pop words))))
+    result))
+
+(defun rfc2047-encode-region (b e &optional word-chars)
+  "Encode all encodable words in region B to E."
+  (let ((words (rfc2047-dissect-region b e word-chars)) word)
+    (save-restriction
+      (narrow-to-region b e)
+      (delete-region (point-min) (point-max))
+      (while (setq word (pop words))
+       (if (not (cdr word))
+           (insert (car word))
+         (rfc2047-fold-region (gnus-point-at-bol) (point))
+         (goto-char (point-max))</