cgit.sxemacs.org Git - gnus/blob - lisp/nnheader.el

   1 ;;; nnheader.el --- header access macros for Gnus and its backends
   2 ;; Copyright (C) 1987,88,89,90,93,94,95,96 Free Software Foundation, Inc.
   3
   4 ;; Author: Masanobu UMEDA <umerin@flab.flab.fujitsu.junet>
   5 ;;      Lars Magne Ingebrigtsen <larsi@ifi.uio.no>
   6 ;; Keywords: news
   7
   8 ;; This file is part of GNU Emacs.
   9
  10 ;; GNU Emacs is free software; you can redistribute it and/or modify
  11 ;; it under the terms of the GNU General Public License as published by
  12 ;; the Free Software Foundation; either version 2, or (at your option)
  13 ;; any later version.
  14
  15 ;; GNU Emacs is distributed in the hope that it will be useful,
  16 ;; but WITHOUT ANY WARRANTY; without even the implied warranty of
  17 ;; MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  18 ;; GNU General Public License for more details.
  19
  20 ;; You should have received a copy of the GNU General Public License
  21 ;; along with GNU Emacs; see the file COPYING.  If not, write to the
  22 ;; Free Software Foundation, Inc., 59 Temple Place - Suite 330,
  23 ;; Boston, MA 02111-1307, USA.
  24
  25 ;;; Commentary:
  26
  27 ;; These macros may look very much like the ones in GNUS 4.1.  They
  28 ;; are, in a way, but you should note that the indices they use have
  29 ;; been changed from the internal GNUS format to the NOV format.  The
  30 ;; makes it possible to read headers from XOVER much faster.
  31 ;;
  32 ;; The format of a header is now:
  33 ;; [number subject from date id references chars lines xref]
  34 ;;
  35 ;; (That last entry is defined as "misc" in the NOV format, but Gnus
  36 ;; uses it for xrefs.)
  37
  38 ;;; Code:
  39
  40 (require 'mail-utils)
  41 (require 'sendmail)
  42 (require 'rmail)
  43 (eval-when-compile (require 'cl))
  44
  45 (defvar nnheader-max-head-length 4096
  46   "*Max length of the head of articles.")
  47
  48 (defvar nnheader-file-name-translation-alist nil
  49   "*Alist that says how to translate characters in file names.
  50 For instance, if \":\" is illegal as a file character in file names
  51 on your system, you could say something like:
  52
  53 \(setq nnheader-file-name-translation-alist '((?: . ?_)))")
  54
  55 ;;; Header access macros.
  56
  57 (defmacro mail-header-number (header)
  58   "Return article number in HEADER."
  59   `(aref ,header 0))
  60
  61 (defmacro mail-header-set-number (header number)
  62   "Set article number of HEADER to NUMBER."
  63   `(aset ,header 0 ,number))
  64
  65 (defmacro mail-header-subject (header)
  66   "Return subject string in HEADER."
  67   `(aref ,header 1))
  68
  69 (defmacro mail-header-set-subject (header subject)
  70   "Set article subject of HEADER to SUBJECT."
  71   `(aset ,header 1 ,subject))
  72
  73 (defmacro mail-header-from (header)
  74   "Return author string in HEADER."
  75   `(aref ,header 2))
  76
  77 (defmacro mail-header-set-from (header from)
  78   "Set article author of HEADER to FROM."
  79   `(aset ,header 2 ,from))
  80
  81 (defmacro mail-header-date (header)
  82   "Return date in HEADER."
  83   `(aref ,header 3))
  84
  85 (defmacro mail-header-set-date (header date)
  86   "Set article date of HEADER to DATE."
  87   `(aset ,header 3 ,date))
  88
  89 (defalias 'mail-header-message-id 'mail-header-id)
  90 (defmacro mail-header-id (header)
  91   "Return Id in HEADER."
  92   `(aref ,header 4))
  93
  94 (defalias 'mail-header-set-message-id 'mail-header-set-id)
  95 (defmacro mail-header-set-id (header id)
  96   "Set article Id of HEADER to ID."
  97   `(aset ,header 4 ,id))
  98
  99 (defmacro mail-header-references (header)
 100   "Return references in HEADER."
 101   `(aref ,header 5))
 102
 103 (defmacro mail-header-set-references (header ref)
 104   "Set article references of HEADER to REF."
 105   `(aset ,header 5 ,ref))
 106
 107 (defmacro mail-header-chars (header)
 108   "Return number of chars of article in HEADER."
 109   `(aref ,header 6))
 110
 111 (defmacro mail-header-set-chars (header chars)
 112   "Set number of chars in article of HEADER to CHARS."
 113   `(aset ,header 6 ,chars))
 114
 115 (defmacro mail-header-lines (header)
 116   "Return lines in HEADER."
 117   `(aref ,header 7))
 118
 119 (defmacro mail-header-set-lines (header lines)
 120   "Set article lines of HEADER to LINES."
 121   `(aset ,header 7 ,lines))
 122
 123 (defmacro mail-header-xref (header)
 124   "Return xref string in HEADER."
 125   `(aref ,header 8))
 126
 127 (defmacro mail-header-set-xref (header xref)
 128   "Set article xref of HEADER to xref."
 129   `(aset ,header 8 ,xref))
 130
 131 (defun make-mail-header (&optional init)
 132   "Create a new mail header structure initialized with INIT."
 133   (make-vector 9 init))
 134
 135 ;; Various cruft the backends and Gnus need to communicate.
 136
 137 (defvar nntp-server-buffer nil)
 138 (defvar gnus-verbose-backends 7
 139   "*A number that says how talkative the Gnus backends should be.")
 140 (defvar gnus-nov-is-evil nil
 141   "If non-nil, Gnus backends will never output headers in the NOV format.")
 142 (defvar news-reply-yank-from nil)
 143 (defvar news-reply-yank-message-id nil)
 144
 145 (defvar nnheader-callback-function nil)
 146
 147 (defun nnheader-init-server-buffer ()
 148   "Initialize the Gnus-backend communication buffer."
 149   (save-excursion
 150     (setq nntp-server-buffer (get-buffer-create " *nntpd*"))
 151     (set-buffer nntp-server-buffer)
 152     (buffer-disable-undo (current-buffer))
 153     (erase-buffer)
 154     (kill-all-local-variables)
 155     (setq case-fold-search t)           ;Should ignore case.
 156     t))
 157
 158 ;;; Virtual server functions.
 159
 160 (defun nnheader-set-init-variables (server defs)
 161   (let ((s server)
 162         val)
 163     ;; First we set the server variables in the sequence required.  We
 164     ;; use the definitions from the `defs' list where that is
 165     ;; possible.
 166     (while s
 167       (set (car (car s))
 168            (if (setq val (assq (car (car s)) defs))
 169                (nth 1 val)
 170              (nth 1 (car s))))
 171       (setq s (cdr s)))
 172     ;; The we go through the defs list and set any variables that were
 173     ;; not set in the first sweep.
 174     (while defs
 175       (if (not (assq (car (car defs)) server))
 176           (set (car (car defs))
 177                (if (and (symbolp (nth 1 (car defs)))
 178                         (not (boundp (nth 1 (car defs)))))
 179                    (nth 1 (car defs))
 180                  (eval (nth 1 (car defs))))))
 181       (setq defs (cdr defs)))))
 182
 183 (defun nnheader-save-variables (server)
 184   (let (out)
 185     (while server
 186       (setq out (cons (list (car (car server))
 187                             (symbol-value (car (car server))))
 188                       out))
 189       (setq server (cdr server)))
 190     (nreverse out)))
 191
 192 (defun nnheader-restore-variables (state)
 193   (while state
 194     (set (car (car state)) (nth 1 (car state)))
 195     (setq state (cdr state))))
 196
 197 (defun nnheader-change-server (backend server defs)
 198   (nnheader-init-server-buffer)
 199   (let ((current-server (intern (format "%s-current-server" backend)))
 200         (alist (intern (format "%s-server-alist" backend)))
 201         (variables (intern (format "%s-server-variables" backend))))
 202
 203     (when (and (symbol-value current-server)
 204                (not (equal server (symbol-value current-server))))
 205       (set alist
 206            (cons (list (symbol-value current-server)
 207                        (nnheader-save-variables (symbol-value variables)))
 208                  (symbol-value alist))))
 209     (let ((state (assoc server (symbol-value alist))))
 210       (if (not state)
 211           (nnheader-set-init-variables (symbol-value variables) defs)
 212         (nnheader-restore-variables (nth 1 state))
 213         (set alist (delq state (symbol-value alist)))))
 214     (set current-server server)
 215     t))
 216
 217 ;;; Various functions the backends use.
 218
 219 (defun nnheader-insert-head (file)
 220   "Insert the head of the article."
 221   (if (eq nnheader-max-head-length t)
 222       ;; Just read the entire file.
 223       (insert-file-contents-literally file)
 224     ;; Read 1K blocks until we find a separator.
 225     (let ((beg 0)
 226           (chop 1024))
 227       (while (and (eq chop (nth 1 (insert-file-contents-literally
 228                                    file nil beg (incf beg chop))))
 229                   (prog1 (not (search-forward "\n\n" nil t))
 230                     (goto-char (point-max)))
 231                   (or (null nnheader-max-head-length)
 232                       (< beg nnheader-max-head-length)))))))
 233
 234 (defun nnheader-article-p ()
 235   "Say whether the current buffer looks like an article."
 236   (goto-char (point-min))
 237   (if (not (search-forward "\n\n" nil t))
 238       nil
 239     (narrow-to-region (point-min) (1- (point)))
 240     (goto-char (point-min))
 241     (while (looking-at "[A-Z][^ \t]+:.*\n\\([ \t].*\n\\)*\\|From .*\n")
 242       (goto-char (match-end 0)))
 243     (prog1
 244         (eobp)
 245       (widen))))
 246
 247 (defun nnheader-insert-references (references message-id)
 248   "Insert a References header based on REFERENCES and MESSAGE-ID."
 249   (if (and (not references) (not message-id))
 250       ()        ; This is illegal, but not all articles have Message-IDs.
 251     (mail-position-on-field "References")
 252     (let ((begin (save-excursion (beginning-of-line) (point)))
 253           (fill-column 78)
 254           (fill-prefix "\t"))
 255       (if references (insert references))
 256       (if (and references message-id) (insert " "))
 257       (if message-id (insert message-id))
 258       ;; Fold long References lines to conform to RFC1036 (sort of).
 259       ;; The region must end with a newline to fill the region
 260       ;; without inserting extra newline.
 261       (fill-region-as-paragraph begin (1+ (point))))))
 262
 263 (defun nnheader-remove-header (header &optional is-regexp first)
 264   "Remove HEADER.
 265 If FIRST, only remove the first instance if the header.
 266 Return the number of headers removed."
 267   (goto-char (point-min))
 268   (let ((regexp (if is-regexp header (concat "^" header ":")))
 269         (number 0)
 270         (case-fold-search t)
 271         last)
 272     (while (and (re-search-forward regexp nil t)
 273                 (not last))
 274       (incf number)
 275       (when first
 276         (setq last t))
 277       (delete-region
 278        (match-beginning 0)
 279        ;; There might be a continuation header, so we have to search
 280        ;; until we find a new non-continuation line.
 281        (if (re-search-forward "^[^ \t]" nil t)
 282            (match-beginning 0)
 283          (point-max))))
 284     number))
 285
 286 (defun nnheader-replace-header (header new-value)
 287   "Remove HEADER and insert the NEW-VALUE."
 288   (save-excursion
 289     (save-restriction
 290       (nnheader-narrow-to-headers)
 291       (prog1
 292           (nnheader-remove-header header)
 293         (goto-char (point-max))
 294         (insert header ": " new-value "\n")))))
 295
 296 (defun nnheader-narrow-to-headers ()
 297   "Narrow to the head of an article."
 298   (widen)
 299   (narrow-to-region
 300    (goto-char (point-min))
 301    (if (search-forward "\n\n" nil t)
 302        (1- (point))
 303      (point-max)))
 304   (goto-char (point-min)))
 305
 306 (defun nnheader-set-temp-buffer (name)
 307   "Set-buffer to an empty (possibly new) buffer called NAME with undo disabled."
 308   (set-buffer (get-buffer-create name))
 309   (buffer-disable-undo (current-buffer))
 310   (erase-buffer)
 311   (current-buffer))
 312
 313 (defmacro nnheader-temp-write (file &rest forms)
 314   "Create a new buffer, evaluate FORM there, and write the buffer to FILE."
 315   `(save-excursion
 316      (let ((nnheader-temp-file ,file)
 317            (nnheader-temp-cur-buffer
 318             (nnheader-set-temp-buffer
 319              (generate-new-buffer-name " *nnheader temp*"))))
 320        (when (and nnheader-temp-file
 321                   (not (file-directory-p (file-name-directory
 322                                           nnheader-temp-file))))
 323          (make-directory (file-name-directory nnheader-temp-file) t))
 324        (unwind-protect
 325            (prog1
 326                (progn
 327                  ,@forms)
 328              (when nnheader-temp-file
 329                (set-buffer nnheader-temp-cur-buffer)
 330                (write-region (point-min) (point-max)
 331                              nnheader-temp-file nil 'nomesg)))
 332          (when (buffer-name nnheader-temp-cur-buffer)
 333            (kill-buffer nnheader-temp-cur-buffer))))))
 334
 335 (put 'nnheader-temp-write 'lisp-indent-function 1)
 336 (put 'nnheader-temp-write 'lisp-indent-hook 1)
 337 (put 'nnheader-temp-write 'edebug-form-spec '(file &rest form))
 338
 339 (defvar jka-compr-compression-info-list)
 340 (defvar nnheader-numerical-files
 341   (if (boundp 'jka-compr-compression-info-list)
 342       (concat "\\([0-9]+\\)\\("
 343               (mapconcat (lambda (i) (aref i 0))
 344                          jka-compr-compression-info-list "\\|")
 345               "\\)?")
 346     "[0-9]+$")
 347   "Regexp that match numerical files.")
 348
 349 (defvar nnheader-numerical-short-files (concat "^" nnheader-numerical-files)
 350   "Regexp that matches numerical file names.")
 351
 352 (defvar nnheader-numerical-full-files (concat "/" nnheader-numerical-files)
 353   "Regexp that matches numerical full file paths.")
 354
 355 (defun nnheader-file-to-number (file)
 356   "Take a file name and return the article number."
 357   (if (not (boundp 'jka-compr-compression-info-list))
 358       (string-to-int file)
 359     (string-match nnheader-numerical-short-files file)
 360     (string-to-int (match-string 0 file))))
 361
 362 (defun nnheader-directory-articles (dir)
 363   "Return a list of all article files in a directory."
 364   (mapcar 'nnheader-file-to-number
 365           (directory-files dir nil nnheader-numerical-short-files t)))
 366
 367 (defun nnheader-article-to-file-alist (dir)
 368   "Return an alist of article/file pairs in DIR."
 369   (mapcar (lambda (file) (cons (nnheader-file-to-number file) file))
 370           (directory-files dir nil nnheader-numerical-short-files t)))
 371
 372 (defun nnheader-fold-continuation-lines ()
 373   "Fold continuation lines in the current buffer."
 374   (goto-char (point-min))
 375   (while (re-search-forward "\\(\r?\n[ \t]+\\)+" nil t)
 376     (replace-match " " t t)))
 377
 378 (defun nnheader-translate-file-chars (file)
 379   (if (null nnheader-file-name-translation-alist)
 380       ;; No translation is necessary.
 381       file
 382     ;; We translate -- but only the file name.  We leave the directory
 383     ;; alone.
 384     (let* ((new (file-name-nondirectory file))
 385            (len (length new))
 386            (i 0)
 387           trans)
 388       (while (< i len)
 389         (when (setq trans (cdr (assq (aref new i)
 390                                      nnheader-file-name-translation-alist)))
 391           (aset new i trans))
 392         (incf i))
 393       (concat (file-name-directory file) new))))
 394
 395 (defun nnheader-report (backend &rest args)
 396   "Report an error from the BACKEND.
 397 The first string in ARGS can be a format string."
 398   (set (intern (format "%s-status-string" backend))
 399        (if (< (length args) 2)
 400            (car args)
 401          (apply 'format args)))
 402   nil)
 403
 404 (defun nnheader-get-report (backend)
 405   (message "%s" (symbol-value (intern (format "%s-status-string" backend)))))
 406
 407 (defun nnheader-insert (format &rest args)
 408   "Clear the communicaton buffer and insert FORMAT and ARGS into the buffer.
 409 If FORMAT isn't a format string, it and all ARGS will be inserted
 410 without formatting."
 411   (save-excursion
 412     (set-buffer nntp-server-buffer)
 413     (erase-buffer)
 414     (if (string-match "%" format)
 415         (insert (apply 'format format args))
 416       (apply 'insert format args))
 417     t))
 418
 419 (defun nnheader-mail-file-mbox-p (file)
 420   "Say whether FILE looks like an Unix mbox file."
 421   (when (and (file-exists-p file)
 422              (file-readable-p file)
 423              (file-regular-p file))
 424     (save-excursion
 425       (nnheader-set-temp-buffer " *mail-file-mbox-p*")
 426       (insert-file-contents-literally file)
 427       (goto-char (point-min))
 428       (prog1
 429           (looking-at rmail-unix-mail-delimiter)
 430         (kill-buffer (current-buffer))))))
 431
 432 (defun nnheader-replace-chars-in-string (string from to)
 433   "Replace characters in STRING from FROM to TO."
 434   (let ((string (substring string 0))   ;Copy string.
 435         (len (length string))
 436         (idx 0))
 437     ;; Replace all occurrences of FROM with TO.
 438     (while (< idx len)
 439       (if (= (aref string idx) from)
 440           (aset string idx to))
 441       (setq idx (1+ idx)))
 442     string))
 443
 444 (defun nnheader-file-to-group (file &optional top)
 445   "Return a group name based on FILE and TOP."
 446   (nnheader-replace-chars-in-string
 447    (if (not top)
 448        file
 449      (condition-case ()
 450          (substring (expand-file-name file)
 451                     (length
 452                      (expand-file-name
 453                       (file-name-as-directory top))))
 454        (error "")))
 455    ?/ ?.))
 456
 457 (defun nnheader-message (level &rest args)
 458   "Message if the Gnus backends are talkative."
 459   (if (or (not (numberp gnus-verbose-backends))
 460           (<= level gnus-verbose-backends))
 461       (apply 'message args)
 462     (apply 'format args)))
 463
 464 (defun nnheader-be-verbose (level)
 465   "Return whether the backends should be verbose on LEVEL."
 466   (or (not (numberp gnus-verbose-backends))
 467       (<= level gnus-verbose-backends)))
 468
 469 (defun nnheader-group-pathname (group dir &optional file)
 470   "Make pathname for GROUP."
 471   (concat
 472    (let ((dir (file-name-as-directory (expand-file-name dir))))
 473      ;; If this directory exists, we use it directly.
 474      (if (file-directory-p (concat dir group))
 475          (concat dir group "/")
 476        ;; If not, we translate dots into slashes.
 477        (concat dir (nnheader-replace-chars-in-string group ?. ?/) "/")))
 478    (cond ((null file) "")
 479          ((numberp file) (int-to-string file))
 480          (t file))))
 481
 482 (defun nnheader-functionp (form)
 483   "Return non-nil if FORM is funcallable."
 484   (or (and (symbolp form) (fboundp form))
 485       (and (listp form) (eq (car form) 'lambda))))
 486
 487 (fset 'nnheader-find-file-noselect 'find-file-noselect)
 488
 489 (provide 'nnheader)
 490
 491 ;;; nnheader.el ends here