cgit.sxemacs.org Git - gnus/blob - lisp/gnus-cite.el

   1 ;;; gnus-cite.el --- parse citations in articles for Gnus
   2
   3 ;; Copyright (C) 1995-2014 Free Software Foundation, Inc.
   4
   5 ;; Author: Per Abhiddenware
   6
   7 ;; This file is part of GNU Emacs.
   8
   9 ;; GNU Emacs is free software: you can redistribute it and/or modify
  10 ;; it under the terms of the GNU General Public License as published by
  11 ;; the Free Software Foundation, either version 3 of the License, or
  12 ;; (at your option) any later version.
  13
  14 ;; GNU Emacs is distributed in the hope that it will be useful,
  15 ;; but WITHOUT ANY WARRANTY; without even the implied warranty of
  16 ;; MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  17 ;; GNU General Public License for more details.
  18
  19 ;; You should have received a copy of the GNU General Public License
  20 ;; along with GNU Emacs.  If not, see <http://www.gnu.org/licenses/>.
  21
  22 ;;; Commentary:
  23
  24 ;;; Code:
  25
  26 (eval-when-compile (require 'cl))
  27 (eval-when-compile
  28   (when (featurep 'xemacs)
  29     (require 'easy-mmode))) ; for `define-minor-mode'
  30
  31 (require 'gnus)
  32 (require 'gnus-range)
  33 (require 'gnus-art)
  34 (require 'message)      ; for message-cite-prefix-regexp
  35
  36 ;;; Customization:
  37
  38 (defgroup gnus-cite nil
  39   "Citation."
  40   :prefix "gnus-cite-"
  41   :link '(custom-manual "(gnus)Article Highlighting")
  42   :group 'gnus-article)
  43
  44 (defcustom gnus-cited-opened-text-button-line-format "%(%{[-]%}%)\n"
  45   "Format of opened cited text buttons."
  46   :group 'gnus-cite
  47   :type 'string)
  48
  49 (defcustom gnus-cited-closed-text-button-line-format "%(%{[+]%}%)\n"
  50   "Format of closed cited text buttons."
  51   :group 'gnus-cite
  52   :type 'string)
  53
  54 (defcustom gnus-cited-lines-visible nil
  55   "The number of lines of hidden cited text to remain visible.
  56 Or a pair (cons) of numbers which are the number of lines at the top
  57 and bottom of the text, respectively, to remain visible."
  58   :group 'gnus-cite
  59   :type '(choice (const :tag "none" nil)
  60                  integer
  61                  (cons :tag "Top and Bottom" integer integer)))
  62
  63 (defcustom gnus-cite-parse-max-size 25000
  64   "Maximum article size (in bytes) where parsing citations is allowed.
  65 Set it to nil to parse all articles."
  66   :group 'gnus-cite
  67   :type '(choice (const :tag "all" nil)
  68                  integer))
  69
  70 (defcustom gnus-cite-max-prefix 20
  71   "Maximum possible length for a citation prefix."
  72   :group 'gnus-cite
  73   :type 'integer)
  74
  75 (defcustom gnus-supercite-regexp
  76   (concat "^\\(" message-cite-prefix-regexp "\\)? *"
  77           ">>>>> +\"\\([^\"\n]+\\)\" +==")
  78   "*Regexp matching normal Supercite attribution lines.
  79 The first grouping must match prefixes added by other packages."
  80   :group 'gnus-cite
  81   :type 'regexp)
  82
  83 (defcustom gnus-supercite-secondary-regexp "^.*\"\\([^\"\n]+\\)\" +=="
  84   "Regexp matching mangled Supercite attribution lines.
  85 The first regexp group should match the Supercite attribution."
  86   :group 'gnus-cite
  87   :type 'regexp)
  88
  89 (defcustom gnus-cite-minimum-match-count 2
  90   "Minimum number of identical prefixes before we believe it's a citation."
  91   :group 'gnus-cite
  92   :type 'integer)
  93
  94 ;; Some Microsoft products put in a citation that extends to the
  95 ;; remainder of the message:
  96 ;;
  97 ;;     -----Original Message-----
  98 ;;     From: ...
  99 ;;     To: ...
 100 ;;     Sent: ...   [date, in non-RFC-2822 format]
 101 ;;     Subject: ...
 102 ;;
 103 ;;     Cited message, with no prefixes
 104 ;;
 105 ;; The four headers are always the same.  But note they are prone to
 106 ;; folding without additional indentation.
 107 ;;
 108 ;; Others use "----- Original Message -----" instead, and properly quote
 109 ;; the body using "> ".  This style is handled without special cases.
 110
 111 (defcustom gnus-cite-attribution-prefix
 112   "In article\\|in <\\|On \\(Mon\\|Tue\\|Wed\\|Thu\\|Fri\\|Sat\\|Sun\\),\\|----- ?Original Message ?-----"
 113   "*Regexp matching the beginning of an attribution line."
 114   :group 'gnus-cite
 115   :type 'regexp)
 116
 117 (defcustom gnus-cite-attribution-suffix
 118   "\\(\\(wrote\\|writes\\|said\\|says\\|>\\)\\(:\\|\\.\\.\\.\\)\\|----- ?Original Message ?-----\\)[ \t]*$"
 119   "*Regexp matching the end of an attribution line.
 120 The text matching the first grouping will be used as a button."
 121   :group 'gnus-cite
 122   :type 'regexp)
 123
 124 (defcustom gnus-cite-unsightly-citation-regexp
 125   "^-----Original Message-----\nFrom: \\(.+\n\\)+\n"
 126   "Regexp matching Microsoft-type rest-of-message citations."
 127   :version "22.1"
 128   :group 'gnus-cite
 129   :type 'regexp)
 130
 131 (defcustom gnus-cite-ignore-quoted-from t
 132   "Non-nil means don't regard lines beginning with \">From \" as cited text.
 133 Those lines may have been quoted by MTAs in order not to mix up with
 134 the envelope From line."
 135   :version "22.1"
 136   :group 'gnus-cite
 137   :type 'boolean)
 138
 139 (defface gnus-cite-attribution '((t (:italic t)))
 140   "Face used for attribution lines."
 141   :group 'gnus-cite)
 142 ;; backward-compatibility alias
 143 (put 'gnus-cite-attribution-face 'face-alias 'gnus-cite-attribution)
 144 (put 'gnus-cite-attribution-face 'obsolete-face "22.1")
 145
 146 (defcustom gnus-cite-attribution-face 'gnus-cite-attribution
 147   "Face used for attribution lines.
 148 It is merged with the face for the cited text belonging to the attribution."
 149   :version "22.1"
 150   :group 'gnus-cite
 151   :type 'face)
 152
 153 (defface gnus-cite-1 '((((class color)
 154                          (background dark))
 155                         (:foreground "light blue"))
 156                        (((class color)
 157                          (background light))
 158                         (:foreground "MidnightBlue"))
 159                        (t
 160                         (:italic t)))
 161   "Citation face."
 162   :group 'gnus-cite)
 163 ;; backward-compatibility alias
 164 (put 'gnus-cite-face-1 'face-alias 'gnus-cite-1)
 165 (put 'gnus-cite-face-1 'obsolete-face "22.1")
 166
 167 (defface gnus-cite-2 '((((class color)
 168                          (background dark))
 169                         (:foreground "light cyan"))
 170                        (((class color)
 171                          (background light))
 172                         (:foreground "firebrick"))
 173                        (t
 174                         (:italic t)))
 175   "Citation face."
 176   :group 'gnus-cite)
 177 ;; backward-compatibility alias
 178 (put 'gnus-cite-face-2 'face-alias 'gnus-cite-2)
 179 (put 'gnus-cite-face-2 'obsolete-face "22.1")
 180
 181 (defface gnus-cite-3 '((((class color)
 182                          (background dark))
 183                         (:foreground "light yellow"))
 184                        (((class color)
 185                          (background light))
 186                         (:foreground "dark green"))
 187                        (t
 188                         (:italic t)))
 189   "Citation face."
 190   :group 'gnus-cite)
 191 ;; backward-compatibility alias
 192 (put 'gnus-cite-face-3 'face-alias 'gnus-cite-3)
 193 (put 'gnus-cite-face-3 'obsolete-face "22.1")
 194
 195 (defface gnus-cite-4 '((((class color)
 196                          (background dark))
 197                         (:foreground "light pink"))
 198                        (((class color)
 199                          (background light))
 200                         (:foreground "OrangeRed"))
 201                        (t
 202                         (:italic t)))
 203   "Citation face."
 204   :group 'gnus-cite)
 205 ;; backward-compatibility alias
 206 (put 'gnus-cite-face-4 'face-alias 'gnus-cite-4)
 207 (put 'gnus-cite-face-4 'obsolete-face "22.1")
 208
 209 (defface gnus-cite-5 '((((class color)
 210                          (background dark))
 211                         (:foreground "pale green"))
 212                        (((class color)
 213                          (background light))
 214                         (:foreground "dark khaki"))
 215                        (t
 216                         (:italic t)))
 217   "Citation face."
 218   :group 'gnus-cite)
 219 ;; backward-compatibility alias
 220 (put 'gnus-cite-face-5 'face-alias 'gnus-cite-5)
 221 (put 'gnus-cite-face-5 'obsolete-face "22.1")
 222
 223 (defface gnus-cite-6 '((((class color)
 224                          (background dark))
 225                         (:foreground "beige"))
 226                        (((class color)
 227                          (background light))
 228                         (:foreground "dark violet"))
 229                        (t
 230                         (:italic t)))
 231   "Citation face."
 232   :group 'gnus-cite)
 233 ;; backward-compatibility alias
 234 (put 'gnus-cite-face-6 'face-alias 'gnus-cite-6)
 235 (put 'gnus-cite-face-6 'obsolete-face "22.1")
 236
 237 (defface gnus-cite-7 '((((class color)
 238                          (background dark))
 239                         (:foreground "orange"))
 240                        (((class color)
 241                          (background light))
 242                         (:foreground "SteelBlue4"))
 243                        (t
 244                         (:italic t)))
 245   "Citation face."
 246   :group 'gnus-cite)
 247 ;; backward-compatibility alias
 248 (put 'gnus-cite-face-7 'face-alias 'gnus-cite-7)
 249 (put 'gnus-cite-face-7 'obsolete-face "22.1")
 250
 251 (defface gnus-cite-8 '((((class color)
 252                          (background dark))
 253                         (:foreground "magenta"))
 254                        (((class color)
 255                          (background light))
 256                         (:foreground "magenta"))
 257                        (t
 258                         (:italic t)))
 259   "Citation face."
 260   :group 'gnus-cite)
 261 ;; backward-compatibility alias
 262 (put 'gnus-cite-face-8 'face-alias 'gnus-cite-8)
 263 (put 'gnus-cite-face-8 'obsolete-face "22.1")
 264
 265 (defface gnus-cite-9 '((((class color)
 266                          (background dark))
 267                         (:foreground "violet"))
 268                        (((class color)
 269                          (background light))
 270                         (:foreground "violet"))
 271                        (t
 272                         (:italic t)))
 273   "Citation face."
 274   :group 'gnus-cite)
 275 ;; backward-compatibility alias
 276 (put 'gnus-cite-face-9 'face-alias 'gnus-cite-9)
 277 (put 'gnus-cite-face-9 'obsolete-face "22.1")
 278
 279 (defface gnus-cite-10 '((((class color)
 280                           (background dark))
 281                          (:foreground "plum1"))
 282                         (((class color)
 283                           (background light))
 284                          (:foreground "medium purple"))
 285                         (t
 286                          (:italic t)))
 287   "Citation face."
 288   :group 'gnus-cite)
 289 ;; backward-compatibility alias
 290 (put 'gnus-cite-face-10 'face-alias 'gnus-cite-10)
 291 (put 'gnus-cite-face-10 'obsolete-face "22.1")
 292
 293 (defface gnus-cite-11 '((((class color)
 294                           (background dark))
 295                          (:foreground "turquoise"))
 296                         (((class color)
 297                           (background light))
 298                          (:foreground "turquoise"))
 299                         (t
 300                          (:italic t)))
 301   "Citation face."
 302   :group 'gnus-cite)
 303 ;; backward-compatibility alias
 304 (put 'gnus-cite-face-11 'face-alias 'gnus-cite-11)
 305 (put 'gnus-cite-face-11 'obsolete-face "22.1")
 306
 307 (defcustom gnus-cite-face-list
 308   '(gnus-cite-1 gnus-cite-2 gnus-cite-3 gnus-cite-4 gnus-cite-5 gnus-cite-6
 309                 gnus-cite-7 gnus-cite-8 gnus-cite-9 gnus-cite-10 gnus-cite-11)
 310   "*List of faces used for highlighting citations.
 311
 312 When there are citations from multiple articles in the same message,
 313 Gnus will try to give each citation from each article its own face.
 314 This should make it easier to see who wrote what."
 315   :group 'gnus-cite
 316   :type '(repeat face)
 317   :set (lambda (symbol value)
 318          (prog1
 319              (custom-set-default symbol value)
 320            (if (boundp 'gnus-message-max-citation-depth)
 321                (setq gnus-message-max-citation-depth (length value)))
 322            (if (boundp 'gnus-message-citation-keywords)
 323                (setq gnus-message-citation-keywords
 324                      `((gnus-message-search-citation-line
 325                         ,@(let ((list nil)
 326                                 (count 1))
 327                             (dolist (face value (nreverse list))
 328                               (push (list count (list 'quote face) 'prepend t)
 329                                     list)
 330                               (setq count (1+ count)))))))))))
 331
 332 (defcustom gnus-cite-hide-percentage 50
 333   "Only hide excess citation if above this percentage of the body."
 334   :group 'gnus-cite
 335   :type 'number)
 336
 337 (defcustom gnus-cite-hide-absolute 10
 338   "Only hide excess citation if above this number of lines in the body."
 339   :group 'gnus-cite
 340   :type 'integer)
 341
 342 (defcustom gnus-cite-blank-line-after-header t
 343   "If non-nil, put a blank line between the citation header and the button."
 344   :group 'gnus-cite
 345   :type 'boolean)
 346
 347 ;; This has to go here because its default value depends on
 348 ;; gnus-cite-face-list.
 349 (defcustom gnus-article-boring-faces (cons 'gnus-signature gnus-cite-face-list)
 350   "List of faces that are not worth reading.
 351 If an article has more pages below the one you are looking at, but
 352 nothing on those pages is a word of at least three letters that is not
 353 in a boring face, then the pages will be skipped."
 354   :type '(repeat face)
 355   :group 'gnus-article-hiding)
 356
 357 ;;; Internal Variables:
 358
 359 (defvar gnus-cite-article nil)
 360 (defvar gnus-cite-overlay-list nil)
 361
 362 (defvar gnus-cite-prefix-alist nil)
 363 ;; Alist of citation prefixes.
 364 ;; The cdr is a list of lines with that prefix.
 365
 366 (defvar gnus-cite-attribution-alist nil)
 367 ;; Alist of attribution lines.
 368 ;; The car is a line number.
 369 ;; The cdr is the prefix for the citation started by that line.
 370
 371 (defvar gnus-cite-loose-prefix-alist nil)
 372 ;; Alist of citation prefixes that have no matching attribution.
 373 ;; The cdr is a list of lines with that prefix.
 374
 375 (defvar gnus-cite-loose-attribution-alist nil)
 376 ;; Alist of attribution lines that have no matching citation.
 377 ;; Each member has the form (WROTE IN PREFIX TAG), where
 378 ;; WROTE: is the attribution line number
 379 ;; IN: is the line number of the previous line if part of the same attribution,
 380 ;; PREFIX: Is the citation prefix of the attribution line(s), and
 381 ;; TAG: Is a Supercite tag, if any.
 382
 383 (defvar gnus-cited-opened-text-button-line-format-alist
 384   `((?b (marker-position beg) ?d)
 385     (?e (marker-position end) ?d)
 386     (?n (count-lines beg end) ?d)
 387     (?l (- end beg) ?d)))
 388 (defvar gnus-cited-opened-text-button-line-format-spec nil)
 389 (defvar gnus-cited-closed-text-button-line-format-alist
 390   gnus-cited-opened-text-button-line-format-alist)
 391 (defvar gnus-cited-closed-text-button-line-format-spec nil)
 392
 393
 394 ;;; Commands:
 395
 396 (defun gnus-article-highlight-citation (&optional force same-buffer)
 397   "Highlight cited text.
 398 Each citation in the article will be highlighted with a different face.
 399 The faces are taken from `gnus-cite-face-list'.
 400 Attribution lines are highlighted with the same face as the
 401 corresponding citation merged with the face `gnus-cite-attribution'.
 402
 403 Text is considered cited if at least `gnus-cite-minimum-match-count'
 404 lines matches `message-cite-prefix-regexp' with the same prefix.
 405
 406 Lines matching `gnus-cite-attribution-suffix' and perhaps
 407 `gnus-cite-attribution-prefix' are considered attribution lines."
 408   (interactive (list 'force))
 409   (with-current-buffer (if same-buffer (current-buffer) gnus-article-buffer)
 410     (gnus-cite-parse-maybe force)
 411     (let ((buffer-read-only nil)
 412           (alist gnus-cite-prefix-alist)
 413           (faces gnus-cite-face-list)
 414           (inhibit-point-motion-hooks t)
 415           face entry prefix skip numbers number face-alist)
 416       ;; Loop through citation prefixes.
 417       (while alist
 418         (setq entry (car alist)
 419               alist (cdr alist)
 420               prefix (car entry)
 421               numbers (cdr entry)
 422               face (car faces)
 423               faces (or (cdr faces) gnus-cite-face-list)
 424               face-alist (cons (cons prefix face) face-alist))
 425         (while numbers
 426           (setq number (car numbers)
 427                 numbers (cdr numbers))
 428           (and (not (assq number gnus-cite-attribution-alist))
 429                (not (assq number gnus-cite-loose-attribution-alist))
 430                (gnus-cite-add-face number prefix face))))
 431       ;; Loop through attribution lines.
 432       (setq alist gnus-cite-attribution-alist)
 433       (while alist
 434         (setq entry (car alist)
 435               alist (cdr alist)
 436               number (car entry)
 437               prefix (cdr entry)
 438               skip (gnus-cite-find-prefix number)
 439               face (cdr (assoc prefix face-alist)))
 440         ;; Add attribution button.
 441         (goto-char (point-min))
 442         (forward-line (1- number))
 443         (when (re-search-forward gnus-cite-attribution-suffix
 444                                  (point-at-eol)
 445                                  t)
 446           (gnus-article-add-button (match-beginning 1) (match-end 1)
 447                                    'gnus-cite-toggle prefix))
 448         ;; Highlight attribution line.
 449         (gnus-cite-add-face number skip face)
 450         (gnus-cite-add-face number skip gnus-cite-attribution-face))
 451       ;; Loop through attribution lines.
 452       (setq alist gnus-cite-loose-attribution-alist)
 453       (while alist
 454         (setq entry (car alist)
 455               alist (cdr alist)
 456               number (car entry)
 457               skip (gnus-cite-find-prefix number))
 458         (gnus-cite-add-face number skip gnus-cite-attribution-face)))))
 459
 460 (defun gnus-dissect-cited-text ()
 461   "Dissect the article buffer looking for cited text."
 462   (with-current-buffer gnus-article-buffer
 463     (gnus-cite-parse-maybe nil t)
 464     (let ((alist gnus-cite-prefix-alist)
 465           prefix numbers number marks m)
 466       ;; Loop through citation prefixes.
 467       (while alist
 468         (setq numbers (pop alist)
 469               prefix (pop numbers))
 470         (while numbers
 471           (setq number (pop numbers))
 472           (goto-char (point-min))
 473           (forward-line number)
 474           (push (cons (point-marker) "") marks)
 475           (while (and numbers
 476                       (= (1- number) (car numbers)))
 477             (setq number (pop numbers)))
 478           (goto-char (point-min))
 479           (forward-line (1- number))
 480           (push (cons (point-marker) prefix) marks)))
 481       ;; Skip to the beginning of the body.
 482       (article-goto-body)
 483       (push (cons (point-marker) "") marks)
 484       ;; Find the end of the body.
 485       (goto-char (point-max))
 486       (gnus-article-search-signature)
 487       (push (cons (point-marker) "") marks)
 488       ;; Sort the marks.
 489       (setq marks (sort marks 'car-less-than-car))
 490       (let ((omarks marks))
 491         (setq marks nil)
 492         (while (cdr omarks)
 493           (if (= (caar omarks) (caadr omarks))
 494               (progn
 495                 (unless (equal (cdar omarks) "")
 496                   (push (car omarks) marks))
 497                 (unless (equal (cdadr omarks) "")
 498                   (push (cadr omarks) marks))
 499                 (unless (and (equal (cdar omarks) "")
 500                              (equal (cdadr omarks) "")
 501                              (not (cddr omarks)))
 502                   (setq omarks (cdr omarks))))
 503             (push (car omarks) marks))
 504           (setq omarks (cdr omarks)))
 505         (when (car omarks)
 506           (push (car omarks) marks))
 507         (setq marks (setq m (nreverse marks)))
 508         (while (cddr m)
 509           (if (and (equal (cdadr m) "")
 510                    (equal (cdar m) (cdaddr m))
 511                    (goto-char (caadr m))
 512                    (looking-at "[ \t]*$")
 513                    (forward-line 1)
 514                    (= (point) (caaddr m)))
 515               (setcdr m (cdddr m))
 516             (setq m (cdr m))))
 517         marks))))
 518
 519 (defun gnus-article-fill-cited-long-lines ()
 520   (gnus-article-fill-cited-article nil t))
 521
 522 (defun gnus-article-fill-cited-article (&optional width long-lines)
 523   "Do word wrapping in the current article.
 524 If WIDTH (the numerical prefix), use that text width when
 525 filling.  If LONG-LINES, only fill sections that have lines
 526 longer than the frame width."
 527   (interactive "P")
 528   (with-current-buffer gnus-article-buffer
 529     (let ((buffer-read-only nil)
 530           (inhibit-point-motion-hooks t)
 531           (marks (gnus-dissect-cited-text))
 532           (adaptive-fill-mode nil)
 533           (filladapt-mode nil)
 534           (fill-column (if width (prefix-numeric-value width) fill-column)))
 535       (save-restriction
 536         (while (cdr marks)
 537           (narrow-to-region (caar marks) (caadr marks))
 538           (let ((adaptive-fill-regexp
 539                  (concat "^" (regexp-quote (cdar marks)) " *"))
 540                 (fill-prefix
 541                  (if (string= (cdar marks) "") ""
 542                    (concat (cdar marks) " ")))
 543                 (do-fill (not long-lines))
 544                 use-hard-newlines)
 545             (unless do-fill
 546               (setq do-fill (gnus-article-foldable-buffer (cdar marks))))
 547             ;; Note: the XEmacs version of `fill-region' inserts a newline
 548             ;; unless the region ends with a newline.
 549             (when do-fill
 550               (if (not long-lines)
 551                   (fill-region (point-min) (point-max))
 552                 (goto-char (point-min))
 553                 (while (not (eobp))
 554                   (end-of-line)
 555                   (when (prog1
 556                             (> (current-column) (window-width))
 557                           (forward-line 1))
 558                     (save-restriction
 559                       (narrow-to-region (line-beginning-position 0) (point))
 560                       (fill-region (point-min) (point-max))))))))
 561           (set-marker (caar marks) nil)
 562           (setq marks (cdr marks)))
 563         (when marks
 564           (set-marker (caar marks) nil))
 565         ;; All this information is now incorrect.
 566         (setq gnus-cite-prefix-alist nil
 567               gnus-cite-attribution-alist nil
 568               gnus-cite-loose-prefix-alist nil
 569               gnus-cite-loose-attribution-alist nil
 570               gnus-cite-article nil)))))
 571
 572 (defun gnus-article-foldable-buffer (prefix)
 573   (let ((do-fill nil)
 574         columns)
 575     (goto-char (point-min))
 576     (while (not (eobp))
 577       (unless (> (length prefix) (- (point-max) (point)))
 578         (forward-char (length prefix)))
 579       (skip-chars-forward " \t")
 580       (unless (eolp)
 581         (let ((elem (assq (current-column) columns)))
 582           (unless elem
 583             (setq elem (cons (current-column) 0))
 584             (push elem columns))
 585           (setcdr elem (1+ (cdr elem)))))
 586       (end-of-line)
 587       (when (> (current-column) (window-width))
 588         (setq do-fill t))
 589       (forward-line 1))
 590     (and do-fill
 591          ;; We know know that there are long lines here, but does this look
 592          ;; like code?  Check for ragged edges on the left.
 593          (< (length columns) 3))))
 594
 595 (defun gnus-article-hide-citation (&optional arg force)
 596   "Toggle hiding of all cited text except attribution lines.
 597 See the documentation for `gnus-article-highlight-citation'.
 598 If given a negative prefix, always show; if given a positive prefix,
 599 always hide."
 600   (interactive (append (gnus-article-hidden-arg) (list 'force)))
 601   (gnus-set-format 'cited-opened-text-button t)
 602   (gnus-set-format 'cited-closed-text-button t)
 603   (with-current-buffer gnus-article-buffer
 604     (let ((buffer-read-only nil)
 605           marks
 606           (inhibit-point-motion-hooks t)
 607           (props (nconc (list 'article-type 'cite)
 608                         gnus-hidden-properties))
 609           (point (point-min))
 610           found beg end start)
 611       (while (setq point
 612                    (text-property-any point (point-max)
 613                                       'gnus-callback
 614                                       'gnus-article-toggle-cited-text))
 615         (setq found t)
 616         (goto-char point)
 617         (gnus-article-toggle-cited-text
 618          (get-text-property point 'gnus-data) arg)
 619         (forward-line 1)
 620         (setq point (point)))
 621       (unless found
 622         (setq marks (gnus-dissect-cited-text))
 623         (while marks
 624           (setq beg nil
 625                 end nil)
 626           (while (and marks (string= (cdar marks) ""))
 627             (setq marks (cdr marks)))
 628           (when marks
 629             (setq beg (caar marks)))
 630           (while (and marks (not (string= (cdar marks) "")))
 631             (setq marks (cdr marks)))
 632           (when marks
 633             (setq end (caar marks)))
 634           ;; Skip past lines we want to leave visible.
 635           (when (and beg end gnus-cited-lines-visible)
 636             (goto-char beg)
 637             (forward-line (if (consp gnus-cited-lines-visible)
 638                               (car gnus-cited-lines-visible)
 639                             gnus-cited-lines-visible))
 640             (if (>= (point) end)
 641                 (setq beg nil)
 642               (setq beg (point-marker))
 643               (when (consp gnus-cited-lines-visible)
 644                 (goto-char end)
 645                 (forward-line (- (cdr gnus-cited-lines-visible)))
 646                 (if (<= (point) beg)
 647                     (setq beg nil)
 648                   (setq end (point-marker))))))
 649           (when (and beg end)
 650             (gnus-add-wash-type 'cite)
 651             ;; We use markers for the end-points to facilitate later
 652             ;; wrapping and mangling of text.
 653             (setq beg (set-marker (make-marker) beg)
 654                   end (set-marker (make-marker) end))
 655             (gnus-add-text-properties-when 'article-type nil beg end props)
 656             (goto-char beg)
 657             (when (and gnus-cite-blank-line-after-header
 658                        (not (save-excursion (search-backward "\n\n" nil t))))
 659               (insert "\n"))
 660             (put-text-property
 661              (setq start (point-marker))
 662              (progn
 663                (gnus-article-add-button
 664                 (point)
 665                 (progn (eval gnus-cited-closed-text-button-line-format-spec)
 666                        (point))
 667                 `gnus-article-toggle-cited-text
 668                 (list (cons beg end) start))
 669                (point))
 670              'article-type 'annotation)
 671             (set-marker beg (point))))))))
 672
 673 (defun gnus-article-toggle-cited-text (args &optional arg)
 674   "Toggle hiding the text in REGION.
 675 ARG can be nil or a number.  Positive means hide, negative
 676 means show, nil means toggle."
 677   (let* ((region (car args))
 678          (beg (car region))
 679          (end (cdr region))
 680          (start (cadr args))
 681          (hidden
 682           (text-property-any beg (1- end) 'article-type 'cite))
 683          (inhibit-point-motion-hooks t)
 684          buffer-read-only)
 685     (when (or (null arg)
 686               (zerop arg)
 687               (and (> arg 0) (not hidden))
 688               (and (< arg 0) hidden))
 689       (if hidden
 690           (progn
 691             ;; Can't remove 'cite from g-a-wash-types here because
 692             ;; multiple citations may be hidden -jas
 693             (gnus-remove-text-properties-when
 694              'article-type 'cite beg end
 695              (cons 'article-type (cons 'cite
 696                                        gnus-hidden-properties))))
 697         (gnus-add-wash-type 'cite)
 698         (gnus-add-text-properties-when
 699          'article-type nil beg end
 700          (cons 'article-type (cons 'cite
 701                                    gnus-hidden-properties))))
 702       (let ((gnus-article-mime-handle-alist-1 gnus-article-mime-handle-alist))
 703         (gnus-set-mode-line 'article))
 704       (save-excursion
 705         (goto-char start)
 706         (gnus-delete-line)
 707         (put-text-property
 708          (point)
 709          (progn
 710            (gnus-article-add-button
 711             (point)
 712             (progn (eval
 713                     (if hidden
 714                         gnus-cited-opened-text-button-line-format-spec
 715                       gnus-cited-closed-text-button-line-format-spec))
 716                    (point))
 717             `gnus-article-toggle-cited-text
 718             args)
 719            (point))
 720          'article-type 'annotation)))))
 721
 722 (defun gnus-article-hide-citation-maybe (&optional arg force)
 723   "Toggle hiding of cited text that has an attribution line.
 724 If given a negative prefix, always show; if given a positive prefix,
 725 always hide.
 726 This will do nothing unless at least `gnus-cite-hide-percentage'
 727 percent and at least `gnus-cite-hide-absolute' lines of the body is
 728 cited text with attributions.  When called interactively, these two
 729 variables are ignored.
 730 See also the documentation for `gnus-article-highlight-citation'."
 731   (interactive (append (gnus-article-hidden-arg) '(force)))
 732   (with-current-buffer gnus-article-buffer
 733     (gnus-delete-wash-type 'cite)
 734     (unless (gnus-article-check-hidden-text 'cite arg)
 735       (save-excursion
 736         (gnus-cite-parse-maybe force)
 737         (article-goto-body)
 738         (let ((start (point))
 739               (atts gnus-cite-attribution-alist)
 740               (buffer-read-only nil)
 741               (inhibit-point-motion-hooks t)
 742               (hidden 0)
 743               total)
 744           (goto-char (point-max))
 745           (gnus-article-search-signature)
 746           (setq total (count-lines start (point)))
 747           (while atts
 748             (setq hidden (+ hidden (length
 749                                     (cdr (assoc (cdar atts)
 750                                                 gnus-cite-prefix-alist))))
 751                   atts (cdr atts)))
 752           (when (or force
 753                     (and (> (* 100 hidden) (* gnus-cite-hide-percentage total))
 754                          (> hidden gnus-cite-hide-absolute)))
 755             (gnus-article-hide-citation)))))))
 756
 757 (defun gnus-article-hide-citation-in-followups ()
 758   "Hide cited text in non-root articles."
 759   (interactive)
 760   (with-current-buffer gnus-article-buffer
 761     (let ((article (cdr gnus-article-current)))
 762       (unless (with-current-buffer gnus-summary-buffer
 763                 (gnus-article-displayed-root-p article))
 764         (gnus-article-hide-citation)))))
 765
 766 ;;; Internal functions:
 767
 768 (defun gnus-cite-parse-maybe (&optional force no-overlay)
 769   "Always parse the buffer."
 770   (gnus-cite-localize)
 771   ;;Reset parser information.
 772   (setq gnus-cite-prefix-alist nil
 773         gnus-cite-attribution-alist nil
 774         gnus-cite-loose-prefix-alist nil
 775         gnus-cite-loose-attribution-alist nil)
 776   (unless no-overlay
 777     (gnus-cite-delete-overlays))
 778   ;; Parse if not too large.
 779   (if (and gnus-cite-parse-max-size
 780            (> (buffer-size) gnus-cite-parse-max-size))
 781       ()
 782     (setq gnus-cite-article (cons (car gnus-article-current)
 783                                   (cdr gnus-article-current)))
 784     (gnus-cite-parse-wrapper)))
 785
 786 (defun gnus-cite-delete-overlays ()
 787   (dolist (overlay gnus-cite-overlay-list)
 788     (ignore-errors
 789       (when (or (not (gnus-overlay-end overlay))
 790                 (and (>= (gnus-overlay-end overlay) (point-min))
 791                      (<= (gnus-overlay-end overlay) (point-max))))
 792         (setq gnus-cite-overlay-list (delete overlay gnus-cite-overlay-list))
 793         (ignore-errors
 794           (gnus-delete-overlay overlay))))))
 795
 796 (defun gnus-cite-parse-wrapper ()
 797   ;; Wrap chopped gnus-cite-parse.
 798   (article-goto-body)
 799   (let ((inhibit-point-motion-hooks t))
 800     (save-excursion
 801       (gnus-cite-parse-attributions))
 802     (save-excursion
 803       (gnus-cite-parse))
 804     (save-excursion
 805       (gnus-cite-connect-attributions))))
 806
 807 (defun gnus-cite-parse ()
 808   ;; Parse and connect citation prefixes and attribution lines.
 809
 810   ;; Parse current buffer searching for citation prefixes.
 811   (let ((line (1+ (count-lines (point-min) (point))))
 812         (case-fold-search t)
 813         (max (save-excursion
 814                (goto-char (point-max))
 815                (gnus-article-search-signature)
 816                (point)))
 817         (prefix-regexp (concat "^\\(" message-cite-prefix-regexp "\\)"))
 818         alist entry start begin end numbers prefix guess-limit)
 819     ;; Get all potential prefixes in `alist'.
 820     (while (< (point) max)
 821       ;; Each line.
 822       (setq begin (point)
 823             guess-limit (progn (skip-chars-forward "^> \t\r\n") (point))
 824             end (point-at-bol 2)
 825             start end)
 826       (goto-char begin)
 827       ;; Ignore standard Supercite attribution prefix.
 828       (when (and (< guess-limit (+ begin gnus-cite-max-prefix))
 829                  (looking-at gnus-supercite-regexp))
 830         (if (match-end 1)
 831             (setq end (1+ (match-end 1)))
 832           (setq end (1+ begin))))
 833       ;; Ignore very long prefixes.
 834       (when (> end (+ begin gnus-cite-max-prefix))
 835         (setq end (+ begin gnus-cite-max-prefix)))
 836       ;; Ignore quoted envelope From_.
 837       (when (and gnus-cite-ignore-quoted-from
 838                  (prog2
 839                      (setq case-fold-search nil)
 840                      (looking-at ">From ")
 841                    (setq case-fold-search t)))
 842         (setq end (1+ begin)))
 843       (while (re-search-forward prefix-regexp (1- end) t)
 844         ;; Each prefix.
 845         (setq end (match-end 0)
 846               prefix (buffer-substring begin end))
 847         (set-text-properties 0 (length prefix) nil prefix)
 848         (setq entry (assoc prefix alist))
 849         (if entry
 850             (setcdr entry (cons line (cdr entry)))
 851           (push (list prefix line) alist))
 852         (goto-char begin))
 853       (goto-char start)
 854       (setq line (1+ line)))
 855     ;; Horrible special case for some Microsoft mailers.
 856     (goto-char (point-min))
 857     (setq start t begin nil entry nil)
 858     (while start
 859       ;; Assume this search ends up at the beginning of a line.
 860       (if (re-search-forward gnus-cite-unsightly-citation-regexp max t)
 861           (progn
 862             (when (number-or-marker-p start)
 863               (setq begin (count-lines (point-min) start)
 864                     end (count-lines (point-min) (match-beginning 0))))
 865             (setq start (match-end 0)))
 866         (when (number-or-marker-p start)
 867           (setq begin (count-lines (point-min) start)
 868                 end (count-lines (point-min) max)))
 869         (setq start nil))
 870       (when begin
 871         (while (< begin end)
 872           ;; Need to do 1+ because we're in the bol.
 873           (push (setq begin (1+ begin)) entry))))
 874     (when entry
 875       (push (cons "" entry) alist))
 876     ;; We got all the potential prefixes.  Now create
 877     ;; `gnus-cite-prefix-alist' containing the oldest prefix for each
 878     ;; line that appears at least `gnus-cite-minimum-match-count'
 879     ;; times.  First sort them by length.  Longer is older.
 880     (setq alist (sort alist (lambda (a b)
 881                               (> (length (car a)) (length (car b))))))
 882     (while alist
 883       (setq entry (car alist)
 884             prefix (car entry)
 885             numbers (cdr entry)
 886             alist (cdr alist))
 887       (cond ((null numbers)
 888              ;; No lines with this prefix that wasn't also part of
 889              ;; a longer prefix.
 890              )
 891             ((< (length numbers) gnus-cite-minimum-match-count)
 892              ;; Too few lines with this prefix.  We keep it a bit
 893              ;; longer in case it is an exact match for an attribution
 894              ;; line, but we don't remove the line from other
 895              ;; prefixes.
 896              (push entry gnus-cite-prefix-alist))
 897             (t
 898              (push entry
 899                    gnus-cite-prefix-alist)
 900              ;; Remove articles from other prefixes.
 901              (let ((loop alist)
 902                    current)
 903                (while loop
 904                  (setq current (car loop)
 905                        loop (cdr loop))
 906                  (setcdr current
 907                          (gnus-set-difference (cdr current) numbers)))))))))
 908
 909 (defun gnus-cite-parse-attributions ()
 910   (let (al-alist)
 911     ;; Parse attributions
 912     (while (re-search-forward gnus-cite-attribution-suffix (point-max) t)
 913       (let* ((start (match-beginning 0))
 914              (end (match-end 0))
 915              (wrote (count-lines (point-min) end))
 916              (prefix (gnus-cite-find-prefix wrote))
 917              ;; Check previous line for an attribution leader.
 918              (tag (progn
 919                     (beginning-of-line 1)
 920                     (when (looking-at gnus-supercite-secondary-regexp)
 921                       (buffer-substring (match-beginning 1)
 922                                         (match-end 1)))))
 923              (in (progn
 924                    (goto-char start)
 925                    (and (re-search-backward gnus-cite-attribution-prefix
 926                                             (save-excursion
 927                                               (beginning-of-line 0)
 928                                               (point))
 929                                             t)
 930                         (not (re-search-forward gnus-cite-attribution-suffix
 931                                                 start t))
 932                         (count-lines (point-min) (1+ (point)))))))
 933         (when (eq wrote in)
 934           (setq in nil))
 935         (goto-char end)
 936         ;; don't add duplicates
 937         (let ((al (buffer-substring (save-excursion (beginning-of-line 0)
 938                                                     (1+ (point)))
 939                                     end)))
 940           (when (not (assoc al al-alist))
 941             (push (list wrote in prefix tag)
 942                   gnus-cite-loose-attribution-alist)
 943             (push (cons al t) al-alist)))))))
 944
 945 (defun gnus-cite-connect-attributions ()
 946   ;; Connect attributions to citations
 947
 948   ;; No citations have been connected to attribution lines yet.
 949   (setq gnus-cite-loose-prefix-alist (append gnus-cite-prefix-alist nil))
 950
 951   ;; Parse current buffer searching for attribution lines.
 952   ;; Find exact supercite citations.
 953   (gnus-cite-match-attributions 'small nil
 954                                 (lambda (prefix tag)
 955                                   (when tag
 956                                     (concat "\\`"
 957                                             (regexp-quote prefix) "[ \t]*"
 958                                             (regexp-quote tag) ">"))))
 959   ;; Find loose supercite citations after attributions.
 960   (gnus-cite-match-attributions 'small t
 961                                 (lambda (prefix tag)
 962                                   (when tag
 963                                     (concat "\\<"
 964                                             (regexp-quote tag)
 965                                             "\\>"))))
 966   ;; Find loose supercite citations anywhere.
 967   (gnus-cite-match-attributions 'small nil
 968                                 (lambda (prefix tag)
 969                                   (when tag
 970                                     (concat "\\<"
 971                                             (regexp-quote tag)
 972                                             "\\>"))))
 973   ;; Find nested citations after attributions.
 974   (gnus-cite-match-attributions 'small-if-unique t
 975                                 (lambda (prefix tag)
 976                                   (concat "\\`" (regexp-quote prefix) ".+")))
 977   ;; Find nested citations anywhere.
 978   (gnus-cite-match-attributions 'small nil
 979                                 (lambda (prefix tag)
 980                                   (concat "\\`" (regexp-quote prefix) ".+")))
 981   ;; Remove loose prefixes with too few lines.
 982   (let ((alist gnus-cite-loose-prefix-alist)
 983         entry)
 984     (while alist
 985       (setq entry (car alist)
 986             alist (cdr alist))
 987       (when (< (length (cdr entry)) gnus-cite-minimum-match-count)
 988         (setq gnus-cite-prefix-alist
 989               (delq entry gnus-cite-prefix-alist)
 990               gnus-cite-loose-prefix-alist
 991               (delq entry gnus-cite-loose-prefix-alist)))))
 992   ;; Find flat attributions.
 993   (gnus-cite-match-attributions 'first t nil)
 994   ;; Find any attributions (are we getting desperate yet?).
 995   (gnus-cite-match-attributions 'first nil nil))
 996
 997 (defun gnus-cite-match-attributions (sort after fun)
 998   ;; Match all loose attributions and citations (SORT AFTER&nb