cgit.sxemacs.org Git - gnus/blob - contrib/gnus-namazu.el

   1 ;;; gnus-namazu.el --- Search mail with Namazu -*- coding: iso-2022-7bit; -*-
   2
   3 ;; Copyright (C) 2000, 2001, 2002, 2003, 2004
   4 ;; TSUCHIYA Masatoshi <tsuchiya@namazu.org>
   5
   6 ;; Author: TSUCHIYA Masatoshi <tsuchiya@namazu.org>
   7 ;; Keywords: mail searching namazu
   8
   9 ;; This program is free software; you can redistribute it and/or modify
  10 ;; it under the terms of the GNU General Public License as published by
  11 ;; the Free Software Foundation; either version 2, or (at your option)
  12 ;; any later version.
  13
  14 ;; This program is distributed in the hope that it will be useful,
  15 ;; but WITHOUT ANY WARRANTY; without even the implied warranty of
  16 ;; MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  17 ;; GNU General Public License for more details.
  18
  19 ;; You should have received a copy of the GNU General Public License
  20 ;; along with this program; if not, you can either send email to this
  21 ;; program's maintainer or write to: The Free Software Foundation,
  22 ;; Inc.; 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301, USA.
  23
  24
  25 ;;; Commentary:
  26
  27 ;; This file defines the command to search mails and persistent
  28 ;; articles with Namazu and to browse its results with Gnus.
  29 ;;
  30 ;; Namazu is a full-text search engine intended for easy use.  For
  31 ;; more detail about Namazu, visit the following page:
  32 ;;
  33 ;;     http://namazu.org/
  34
  35
  36 ;;; Quick Start:
  37
  38 ;; If this module has already been installed, only four steps are
  39 ;; required to search articles with this module.
  40 ;;
  41 ;;   (1) Install Namazu.
  42 ;;
  43 ;;   (2) Put this expression into your ~/.gnus.
  44 ;;
  45 ;;          (gnus-namazu-insinuate)
  46 ;;
  47 ;;   (3) Start Gnus and type M-x gnus-namazu-create-index RET to make
  48 ;;       index of articles.
  49 ;;
  50 ;;   (4) In group buffer or in summary buffer, type C-c C-n query RET.
  51
  52
  53 ;;; Install:
  54
  55 ;; Before installing this module, you must install Namazu.
  56 ;;
  57 ;; When you would like to byte-compile this module in Gnus, put this
  58 ;; file into the lisp/ directory in the Gnus source tree and run `make
  59 ;; install'.  And then, put the following expression into your
  60 ;; ~/.gnus.
  61 ;;
  62 ;;      (gnus-namazu-insinuate)
  63 ;;
  64 ;; In order to make index of articles with Namazu before using this
  65 ;; module, type M-x gnus-namazu-create-index RET.  Otherwise, you can
  66 ;; create index by yourself with the following commands:
  67 ;;
  68 ;;      % mkdir ~/News/namazu
  69 ;;      % mknmz -a -h -O ~/News/namazu ~/Mail ~/News/cache
  70 ;;
  71 ;; The first command makes the directory for index files, and the
  72 ;; second command generates index files of mails and persistent
  73 ;; articles.
  74 ;;
  75 ;; In order to update indices for incoming articles, this module
  76 ;; automatically runs mknmz, the indexer of Namazu, at an interval of
  77 ;; 3 days; this period is set to `gnus-namazu-index-update-interval'.
  78 ;;
  79 ;; Indices will be updated when `gnus-namazu-search' is called.  If
  80 ;; you want to update indices everywhen Gnus is started, you can put
  81 ;; the following expression to your ~/.gnus.
  82 ;;
  83 ;;      (add-hook 'gnus-startup-hook 'gnus-namazu-update-all-indices)
  84 ;;
  85 ;; In order to control mknmz closely, disable the automatic updating
  86 ;; feature and run mknmz by yourself.  In this case, set nil to the
  87 ;; above option.
  88 ;;
  89 ;;      (setq gnus-namazu-index-update-interval nil)
  90 ;;
  91 ;; When your index is put into the directory other than the default
  92 ;; one (~/News/namazu), it is necessary to set its place to
  93 ;; `gnus-namazu-index-directories' as follows:
  94 ;;
  95 ;;      (setq gnus-namazu-index-directories
  96 ;;            (list (expand-file-name "~/namazu")))
  97
  98
  99 ;;; Code:
 100
 101 (eval-when-compile (require 'cl))
 102 (require 'nnoo)
 103 (require 'nnheader)
 104 (require 'nnmail)
 105 (require 'gnus-sum)
 106
 107 ;; To suppress byte-compile warning.
 108 (eval-when-compile
 109   (defvar nnml-directory)
 110   (defvar nnmh-directory))
 111
 112
 113 (defgroup gnus-namazu nil
 114   "Search nnmh and nnml groups in Gnus with Namazu."
 115   :group 'namazu
 116   :group 'gnus
 117   :prefix "gnus-namazu-")
 118
 119 (defconst gnus-namazu-default-index-directory
 120   (expand-file-name "namazu" gnus-directory)
 121   "Default place of Namazu index files.")
 122
 123 (defcustom gnus-namazu-index-directories
 124   (list
 125    (or (and (boundp 'gnus-namazu-index-directory)
 126             (symbol-value 'gnus-namazu-index-directory))
 127        (and (boundp 'nnir-namazu-index-directory)
 128             (symbol-value 'nnir-namazu-index-directory))
 129        gnus-namazu-default-index-directory))
 130   "*Places of Namazu index files."
 131   :type '(repeat directory)
 132   :group 'gnus-namazu)
 133
 134 (defcustom gnus-namazu-command
 135   (or (and (boundp 'namazu-command)
 136            (symbol-value 'namazu-command))
 137       (and (boundp 'nnir-namazu-program)
 138            (symbol-value 'nnir-namazu-program))
 139       "namazu")
 140   "*Name of the executable file of Namazu."
 141   :type 'string
 142   :group 'gnus-namazu)
 143
 144 (defcustom gnus-namazu-command-prefix nil
 145   "*Prefix commands to execute Namazu.
 146 If you put your index on a remote server, set this option as follows:
 147
 148     (setq gnus-namazu-command-prefix
 149           '(\"ssh\" \"-x\" \"remote-server\"))
 150
 151 This makes gnus-namazu execute \"ssh -x remote-server namazu ...\"
 152 instead of executing \"namazu\" directly."
 153   :type '(repeat string)
 154   :group 'gnus-namazu)
 155
 156 (defcustom gnus-namazu-additional-arguments nil
 157   "*Additional arguments of Namazu.
 158 The options `-q', `-a', and `-l' are always used, very few other
 159 options make any sense in this context."
 160   :type '(repeat string)
 161   :group 'gnus-namazu)
 162
 163 (defcustom gnus-namazu-index-update-interval
 164   259200                                ; 3 days == 259200 seconds.
 165   "*Number of seconds between running the indexer of Namazu."
 166   :type '(choice (const :tag "Never run the indexer" nil)
 167                  (integer :tag "Number of seconds"))
 168   :group 'gnus-namazu)
 169
 170 (defcustom gnus-namazu-make-index-command "mknmz"
 171   "*Name of the executable file of the indexer of Namazu."
 172   :type 'string
 173   :group 'gnus-namazu)
 174
 175 (defcustom gnus-namazu-make-index-arguments
 176   (nconc
 177    (list "--all" "--mailnews" "--deny=^.*[^0-9].*$")
 178    (when (and (boundp 'current-language-environment)
 179               (string= "Japanese"
 180                        (symbol-value 'current-language-environment)))
 181      (list "--indexing-lang=ja")))
 182   "*Arguments of the indexer of Namazu."
 183   :type '(repeat string)
 184   :group 'gnus-namazu)
 185
 186 (defcustom gnus-namazu-field-keywords
 187   '("date" "from" "newsgroups" "size" "subject" "summary" "to" "uri")
 188   "*List of keywords to do field-search."
 189   :type '(repeat string)
 190   :group 'gnus-namazu)
 191
 192 (defcustom gnus-namazu-coding-system
 193   (if (memq system-type '(windows-nt OS/2 emx))
 194       'shift_jis
 195     'euc-japan)
 196   "*Coding system for Namazu process."
 197   :type 'coding-system
 198   :group 'gnus-namazu)
 199
 200 (defcustom gnus-namazu-need-path-normalization
 201   (and (memq system-type '(windows-nt OS/2 emx)) t)
 202   "*Non-nil means that outputs of namazu may contain drive letters."
 203   :type 'boolean
 204   :group 'gnus-namazu)
 205
 206 (defcustom gnus-namazu-case-sensitive-filesystem
 207   (not (eq system-type 'windows-nt))
 208   "*Non-nil means that the using file system distinguishes cases of characters."
 209   :type 'boolean
 210   :group 'gnus-namazu)
 211
 212 (defcustom gnus-namazu-query-highlight t
 213   "Non-nil means that queried words is highlighted."
 214   :type 'boolean
 215   :group 'gnus-namazu)
 216
 217 (defface gnus-namazu-query-highlight-face
 218   '((((type tty pc) (class color))
 219      (:background "magenta4" :foreground "cyan1"))
 220     (((class color) (background light))
 221      (:background "magenta4" :foreground "lightskyblue1"))
 222     (((class color) (background dark))
 223      (:background "palevioletred2" :foreground "brown4"))
 224     (t (:inverse-video t)))
 225   "Face used for namazu query matching words."
 226   :group 'gnus-namazu)
 227
 228 (defcustom gnus-namazu-remote-groups nil
 229   "*Alist of regular expressions matching remote groups and their base paths.
 230 If you use an IMAP server and have a special index, set this option as
 231 follows:
 232
 233     (setq gnus-namazu-remote-groups
 234           '((\"^nnimap\\\\+server:INBOX\\\\.\" . \"~/Maildir/.\")))
 235
 236 This means that the group \"nnimap+server:INBOX.group\" is placed in
 237 \"~/Maildir/.group\"."
 238   :group 'gnus-namazu
 239   :type '(repeat
 240           (cons (regexp :tag "Regexp of group name")
 241                 (string :tag "Base path of groups")))
 242   :set (lambda (symbol value)
 243          (prog1 (set-default symbol value)
 244            (when (featurep 'gnus-namazu)
 245              (gnus-namazu/make-directory-table t)))))
 246
 247 ;;; Internal Variable:
 248 (defconst gnus-namazu/group-name-regexp "\\`nnvirtual:namazu-search\\?")
 249
 250 ;; Multibyte group name:
 251 (and
 252  (fboundp 'gnus-group-decoded-name)
 253  (let ((gnus-group-name-charset-group-alist
 254         (list (cons gnus-namazu/group-name-regexp gnus-namazu-coding-system)))
 255        (query (decode-coding-string (string 27 36 66 52 65 59 122 27 40 66)
 256                                     'iso-2022-7bit)))
 257    (not (string-match query
 258                       (gnus-summary-buffer-name
 259                        (encode-coding-string
 260                         (concat "nnvirtual:namazu-search?query=" query)
 261                         gnus-namazu-coding-system)))))
 262  (let (current-load-list)
 263    (defadvice gnus-summary-buffer-name
 264      (before gnus-namazu-summary-buffer-name activate compile)
 265      "Advised by `gnus-namazu' to handle encoded group names."
 266      (ad-set-arg 0 (gnus-group-decoded-name (ad-get-arg 0))))))
 267
 268 (defmacro gnus-namazu/make-article (group number)
 269   `(cons ,group ,number))
 270 (defmacro gnus-namazu/article-group  (x) `(car ,x))
 271 (defmacro gnus-namazu/article-number (x) `(cdr ,x))
 272
 273 (defsubst gnus-namazu/indexed-servers ()
 274   "Choice appropriate servers from opened ones, and return thier list."
 275   (append
 276    (gnus-servers-using-backend 'nnml)
 277    (gnus-servers-using-backend 'nnmh)))
 278
 279 (defsubst gnus-namazu/default-index-directory ()
 280   (if (member gnus-namazu-default-index-directory
 281               gnus-namazu-index-directories)
 282       gnus-namazu-default-index-directory
 283     (car gnus-namazu-index-directories)))
 284
 285 (defun gnus-namazu/setup ()
 286   (and (boundp 'gnus-group-name-charset-group-alist)
 287        (not (member (cons gnus-namazu/group-name-regexp
 288                           gnus-namazu-coding-system)
 289                     gnus-group-name-charset-group-alist))
 290        (let ((pair (assoc gnus-namazu/group-name-regexp
 291                           gnus-group-name-charset-group-alist)))
 292          (if pair
 293              (setcdr pair gnus-namazu-coding-system)
 294            (push (cons gnus-namazu/group-name-regexp
 295                        gnus-namazu-coding-system)
 296                  gnus-group-name-charset-group-alist))))
 297   (unless gnus-namazu-command-prefix
 298     (gnus-namazu-update-all-indices)))
 299
 300 (defun gnus-namazu/server-directory (server)
 301   "Return the top directory of the server SERVER."
 302   (and (memq (car server) '(nnml nnmh))
 303        (nnoo-change-server (car server) (nth 1 server) (nthcdr 2 server))
 304        (file-name-as-directory
 305         (expand-file-name (if (eq 'nnml (car server))
 306                               nnml-directory
 307                             nnmh-directory)))))
 308
 309 ;;; Functions to call Namazu.
 310 (defsubst gnus-namazu/normalize-results ()
 311   "Normalize file names returned by Namazu in this current buffer."
 312   (goto-char (point-min))
 313   (while (not (eobp))
 314     (when (looking-at "file://")
 315       (delete-region (point) (match-end 0)))
 316     (when (if gnus-namazu-need-path-normalization
 317               (or (not (looking-at "/\\(.\\)|/"))
 318                   (replace-match "\\1:/"))
 319             (eq ?~ (char-after (point))))
 320       (insert (expand-file-name
 321                (buffer-substring (point-at-bol) (point-at-eol))))
 322       (delete-region (point) (point-at-eol)))
 323     (forward-line 1)))
 324
 325 (defsubst gnus-namazu/call-namazu (query)
 326   (let ((coding-system-for-read gnus-namazu-coding-system)
 327         (coding-system-for-write gnus-namazu-coding-system)
 328         (default-process-coding-system
 329           (cons gnus-namazu-coding-system gnus-namazu-coding-system))
 330         program-coding-system-alist
 331         (file-name-coding-system gnus-namazu-coding-system)
 332         (commands
 333          (append gnus-namazu-command-prefix
 334                  (list gnus-namazu-command
 335                        "-q"             ; don't be verbose
 336                        "-a"             ; show all matches
 337                        "-l")            ; use list format
 338                  gnus-namazu-additional-arguments
 339                  (list query)
 340                  gnus-namazu-index-directories)))
 341     (apply 'call-process (car commands) nil t nil (cdr commands))))
 342
 343 (defvar gnus-namazu/directory-table nil)
 344 (defun gnus-namazu/make-directory-table (&optional force)
 345   (interactive (list t))
 346   (unless (and (not force)
 347                gnus-namazu/directory-table
 348                (eq gnus-namazu-case-sensitive-filesystem
 349                    (car gnus-namazu/directory-table)))
 350     (let ((table (make-vector (length gnus-newsrc-hashtb) 0))
 351           cache agent alist dir method)
 352       (mapatoms
 353        (lambda (group)
 354          (unless (gnus-ephemeral-group-p (setq group (symbol-name group)))
 355            (when (file-directory-p
 356                   (setq dir (file-name-as-directory
 357                              (gnus-cache-file-name group ""))))
 358              (push (cons dir group) cache))
 359            (when (file-directory-p
 360                   (setq dir (gnus-agent-group-pathname group)))
 361              (push (cons dir group) agent))
 362            (when (memq (car (setq method (gnus-find-method-for-group group)))
 363                        '(nnml nnmh))
 364              (when (file-directory-p
 365                     (setq dir (nnmail-group-pathname
 366                                (gnus-group-short-name group)
 367                                (gnus-namazu/server-directory method))))
 368                (push (cons dir group) alist)))
 369            (dolist (pair gnus-namazu-remote-groups)
 370              (when (string-match (car pair) group)
 371                (setq dir (nnmail-group-pathname
 372                           (substring group (match-end 0))
 373                           "/"))
 374                (push (cons (concat (cdr pair)
 375                                    ;; nnmail-group-pathname() on some
 376                                    ;; systems returns pathnames which
 377                                    ;; have drive letters at their top.
 378                                    (substring dir (1+ (string-match "/" dir))))
 379                            group)
 380                      alist)))))
 381        gnus-newsrc-hashtb)
 382       (dolist (pair (nconc agent cache alist))
 383         (set (intern (if gnus-namazu-case-sensitive-filesystem
 384                          (car pair)
 385                        (downcase (car pair)))
 386                      table)
 387              (cdr pair)))
 388       (setq gnus-namazu/directory-table
 389             (cons gnus-namazu-case-sensitive-filesystem table)))))
 390
 391 (defun gnus-namazu/search (groups query)
 392   (gnus-namazu/make-directory-table)
 393   (with-temp-buffer
 394     (let ((exit-status (gnus-namazu/call-namazu query)))
 395       (unless (zerop exit-status)
 396         (error "Namazu finished abnormally: %d" exit-status)))
 397     (gnus-namazu/normalize-results)
 398     (goto-char (point-min))
 399     (let (articles group)
 400       (while (not (eobp))
 401         (setq group (buffer-substring-no-properties
 402                      (point)
 403                      (progn
 404                        (end-of-line)
 405                        ;; NOTE: Only numeric characters are permitted
 406                        ;; as file names of articles.
 407                        (skip-chars-backward "0-9")
 408                        (point))))
 409         (and (setq group
 410                    (symbol-value
 411                     (intern-soft (if gnus-namazu-case-sensitive-filesystem
 412                                      group
 413                                    (downcase group))
 414                                  (cdr gnus-namazu/directory-table))))
 415              (or (not groups)
 416                  (member group groups))
 417              (push (gnus-namazu/make-article
 418                     group
 419                     (string-to-number
 420                      (buffer-substring-no-properties (point)
 421                                                      (point-at-eol))))
 422                    articles))
 423         (forward-line 1))
 424       (nreverse articles))))
 425
 426 ;;; User Interface:
 427 (defun gnus-namazu/get-target-groups ()
 428   (cond
 429    ((eq major-mode 'gnus-group-mode)
 430     ;; In Group buffer.
 431     (cond
 432      (current-prefix-arg
 433       (gnus-group-process-prefix current-prefix-arg))
 434      (gnus-group-marked
 435       (prog1 gnus-group-marked (gnus-group-unmark-all-groups)))))
 436    ((eq major-mode 'gnus-summary-mode)
 437     ;; In Summary buffer.
 438     (if current-prefix-arg
 439         (list (gnus-read-group "Group: "))
 440       (if (and
 441            (gnus-ephemeral-group-p gnus-newsgroup-name)
 442            (string-match gnus-namazu/group-name-regexp gnus-newsgroup-name))
 443           (cadr (assq 'gnus-namazu-target-groups
 444                       (gnus-info-method (gnus-get-info gnus-newsgroup-name))))
 445         (list gnus-newsgroup-name))))))
 446
 447 (defun gnus-namazu/get-current-query ()
 448   (and (eq major-mode 'gnus-summary-mode)
 449        (gnus-ephemeral-group-p gnus-newsgroup-name)
 450        (string-match gnus-namazu/group-name-regexp gnus-newsgroup-name)
 451        (cadr (assq 'gnus-namazu-current-query
 452                    (gnus-info-method (gnus-get-info gnus-newsgroup-name))))))
 453
 454 (defvar gnus-namazu/read-query-original-buffer nil)
 455 (defvar gnus-namazu/read-query-prompt nil)
 456 (defvar gnus-namazu/read-query-history nil)
 457
 458 (defun gnus-namazu/get-current-subject ()
 459   (and gnus-namazu/read-query-original-buffer
 460        (bufferp gnus-namazu/read-query-original-buffer)
 461        (with-current-buffer gnus-namazu/read-query-original-buffer
 462          (when (eq major-mode 'gnus-summary-mode)
 463            (let ((s (gnus-summary-article-subject)))
 464              ;; Remove typically prefixes of mailing lists.
 465              (when (string-match
 466                     "^\\(\\[[^]]*[0-9]+\\]\\|([^)]*[0-9]+)\\)\\s-*" s)
 467                (setq s (substring s (match-end 0))))
 468              (when (string-match
 469                     "^\\(Re\\(\\^?\\([0-9]+\\|\\[[0-9]+\\]\\)\\)?:\\s-*\\)+" s)
 470                (setq s (substring s (match-end 0))))
 471              (when (string-match "\\s-*(\\(re\\|was\\)\\b" s)
 472                (setq s (substring s 0 (match-beginning 0))))
 473              s)))))
 474
 475 (defun gnus-namazu/get-current-from ()
 476   (and gnus-namazu/read-query-original-buffer
 477        (bufferp gnus-namazu/read-query-original-buffer)
 478        (with-current-buffer gnus-namazu/read-query-original-buffer
 479          (when (eq major-mode 'gnus-summary-mode)
 480            (cadr (mail-extract-address-components
 481                   (mail-header-from
 482                    (gnus-summary-article-header))))))))
 483
 484 (defun gnus-namazu/get-current-to ()
 485   (and gnus-namazu/read-query-original-buffer
 486        (bufferp gnus-namazu/read-query-original-buffer)
 487        (with-current-buffer gnus-namazu/read-query-original-buffer
 488          (when (eq major-mode 'gnus-summary-mode)
 489            (cadr (mail-extract-address-components
 490                   (cdr (assq 'To (mail-header-extra
 491                                   (gnus-summary-article-header))))))))))
 492
 493 (defmacro gnus-namazu/minibuffer-prompt-end ()
 494   (if (fboundp 'minibuffer-prompt-end)
 495       '(minibuffer-prompt-end)
 496     '(point-min)))
 497
 498 (defun gnus-namazu/message (string &rest arguments)
 499   (let* ((s1 (concat
 500               gnus-namazu/read-query-prompt
 501               (buffer-substring (gnus-namazu/minibuffer-prompt-end)
 502                                 (point-max))))
 503          (s2 (apply (function format) string arguments))
 504          (w (- (window-width)
 505                (string-width s1)
 506                (string-width s2)
 507                1)))
 508     (message (if (>= w 0)
 509                  (concat s1 (make-string w ?\ ) s2)
 510                s2))
 511     (if (sit-for 0.3) (message s1))
 512     s2))
 513
 514 (defun gnus-namazu/complete-query ()
 515   (interactive)
 516   (let ((pos (point)))
 517     (cond
 518      ((and (re-search-backward "\\+\\([-a-z]*\\)" nil t)
 519            (= pos (match-end 0)))
 520       (let* ((partial (match-string 1))
 521              (completions
 522               (all-completions
 523                partial
 524                (mapcar 'list gnus-namazu-field-keywords))))
 525         (cond
 526          ((null completions)
 527           (gnus-namazu/message "No completions of %s" partial))
 528          ((= 1 (length completions))
 529           (goto-char (match-beginning 1))
 530           (delete-region (match-beginning 1) (match-end 1))
 531           (insert (car completions) ":")
 532           (setq pos (point))
 533           (gnus-namazu/message "Completed"))
 534          (t
 535           (let ((x (try-completion partial (mapcar 'list completions))))
 536             (if (string= x partial)
 537                 (if (and (eq last-command
 538                              'gnus-namazu/field-keyword-completion)
 539                          completion-auto-help)
 540                     (with-output-to-temp-buffer "*Completions*"
 541                       (display-completion-list completions))
 542                   (gnus-namazu/message "Sole completion"))
 543               (goto-char (match-beginning 1))
 544               (delete-region (match-beginning 1) (match-end 1))
 545               (insert x)
 546               (setq pos (point))))))))
 547      ((and (looking-at "\\+subject:")
 548            (= pos (match-end 0)))
 549       (let ((s (gnus-namazu/get-current-subject)))
 550         (when s
 551           (goto-char pos)
 552           (insert "\"" s "\"")
 553           (setq pos (point)))))
 554      ((and (looking-at "\\+from:")
 555            (= pos (match-end 0)))
 556       (let ((f (gnus-namazu/get-current-from)))
 557         (when f
 558           (goto-char pos)
 559           (insert "\"" f "\"")
 560           (setq pos (point)))))
 561      ((and (looking-at "\\+to:")
 562            (= pos (match-end 0)))
 563       (let ((to (gnus-namazu/get-current-to)))
 564         (when to
 565           (goto-char pos)
 566           (insert "\"" to "\"")
 567           (setq pos (point))))))
 568     (goto-char pos)))
 569
 570 (defvar gnus-namazu/read-query-map
 571   (let ((keymap (copy-keymap minibuffer-local-map)))
 572     (define-key keymap "\t" 'gnus-namazu/complete-query)
 573     keymap))
 574
 575 (defun gnus-namazu/read-query (prompt &optional initial)
 576   (let ((gnus-namazu/read-query-original-buffer (current-buffer))
 577         (gnus-namazu/read-query-prompt prompt))
 578     (unless initial
 579       (when (setq initial (gnus-namazu/get-current-query))
 580         (setq initial (cons initial 0))))
 581     (read-from-minibuffer prompt initial gnus-namazu/read-query-map nil
 582                           'gnus-namazu/read-query-history)))
 583
 584 (defun gnus-namazu/highlight-words (query)
 585   (with-temp-buffer
 586     (insert " " query)
 587     ;; Remove tokens for NOT search
 588     (goto-char (point-min))
 589     (while (re-search-forward "[\e$B!!\e(B \t\r\f\n]+not[\e$B!!\e(B \t\r\f\n]+\
 590 \\([^\e$B!!\e(B \t\r\f\n\"{(/]+\\|\"[^\"]+\"\\|{[^}]+}\\|([^)]+)\\|/[^/]+/\\)+" nil t)
 591       (delete-region (match-beginning 0) (match-end 0)))
 592     ;; Remove tokens for Field search
 593     (goto-char (point-min))
 594     (while (re-search-forward "[\e$B!!\e(B \t\r\f\n]+\\+[^\e$B!!\e(B \t\r\f\n:]+:\
 595 \\([^\e$B!!\e(B \t\r\f\n\"{(/]+\\|\"[^\"]+\"\\|{[^}]+}\\|([^)]+)\\|/[^/]+/\\)+" nil t)
 596       (delete-region (match-beginning 0) (match-end 0)))
 597     ;; Remove tokens for Regexp search
 598     (goto-char (point-min))
 599     (while (re-search-forward "/[^/]+/" nil t)
 600       (delete-region (match-beginning 0) (match-end 0)))
 601     ;; Remove brackets, double quote, asterisk and operators
 602     (goto-char (point-min))
 603     (while (re-search-forward "\\([(){}\"*]\\|\\b\\(and\\|or\\)\\b\\)" nil t)
 604       (delete-region (match-beginning 0) (match-end 0)))
 605     ;; Collect all keywords
 606     (setq query nil)
 607     (goto-char (point-min))
 608     (while (re-search-forward "[^\e$B!!\e(B \t\r\f\n]+" nil t)
 609       (push (match-string 0) query))
 610     (when query
 611       (let (en ja)
 612         (dolist (q query)
 613           (if (string-match "\\cj" q)
 614               (push q ja)
 615             (push q en)))
 616         (append
 617          (when en
 618            (list (list (concat "\\b\\(" (regexp-opt en) "\\)\\b")
 619                        0 0 'gnus-namazu-query-highlight-face)))
 620          (when ja
 621            (list (list (regexp-opt ja)
 622                        0 0 'gnus-namazu-query-highlight-face))))))))
 623
 624 (defun gnus-namazu/truncate-article-list (articles)
 625   (let ((hit (length articles)))
 626     (when (and gnus-large-newsgroup
 627                (> hit gnus-large-newsgroup))
 628       (let* ((cursor-in-echo-area nil)
 629              (input (read-from-minibuffer
 630                      (format "\
 631 Too many articles were retrieved.  How many articles (max %d): "
 632                              hit)
 633                      (cons (number-to-string gnus-large-newsgroup) 0))))
 634         (unless (string-match "\\`[ \t]*\\'" input)
 635           (setcdr (nthcdr (min (1- (string-to-number input)) hit) articles)
 636                   nil)))))
 637   articles)
 638
 639 ;;;###autoload
 640 (defun gnus-namazu-search (groups query)
 641   "Search QUERY through GROUPS with Namazu,
 642 and make a virtual group contains its results."
 643   (interactive
 644    (list
 645     (gnus-namazu/get-target-groups)
 646     (gnus-namazu/read-query "Enter query: ")))
 647   (gnus-namazu/setup)
 648   (let ((articles (gnus-namazu/search groups query)))
 649     (if articles
 650         (let ((real-groups groups)
 651               (vgroup
 652                (apply (function format)
 653                       "nnvirtual:namazu-search?query=%s&groups=%s&id=%d%d%d"
 654                       query
 655                       (if groups (mapconcat 'identity groups ",") "ALL")
 656                       (current-time))))
 657           (gnus-namazu/truncate-article-list articles)
 658           (unless real-groups
 659             (dolist (a articles)
 660               (add-to-list 'real-groups (gnus-namazu/article-group a))))
 661           ;; Generate virtual group which includes all results.
 662           (when (fboundp 'gnus-group-decoded-name)
 663             (setq vgroup
 664                   (encode-coding-string vgroup gnus-namazu-coding-system)))
 665           (setq vgroup
 666                 (gnus-group-read-ephemeral-group
 667                  vgroup
 668                  `(nnvirtual ,vgroup
 669                              (nnvirtual-component-groups ,real-groups)
 670                              (gnus-namazu-target-groups ,groups)
 671                              (gnus-namazu-current-query ,query))
 672                  t (cons (current-buffer) (current-window-configuration)) t))
 673           (when gnus-namazu-query-highlight
 674             (gnus-group-set-parameter vgroup 'highlight-words
 675                                       (gnus-namazu/highlight-words query)))
 676           ;; Generate new summary buffer which contains search results.
 677           (gnus-group-read-group
 678            t t vgroup
 679            (sort (delq nil ;; Ad-hoc fix, to avoid wrong-type-argument error.
 680                        (mapcar
 681                         (lambda (a)
 682                           (nnvirtual-reverse-map-article
 683                            (gnus-namazu/article-group a)
 684                            (gnus-namazu/article-number a)))
 685                         articles))
 686                  '<)))
 687       (message "No entry."))))
 688
 689 (defmacro gnus-namazu/lock-file-name (&optional directory)
 690   `(expand-file-name "NMZ.lock2" ,directory))
 691
 692 (defmacro gnus-namazu/status-file-name (&optional directory)
 693   `(expand-file-name "NMZ.status" ,directory))
 694
 695 (defmacro gnus-namazu/index-file-name (&optional directory)
 696   `(expand-file-name "NMZ.i" ,directory))
 697
 698 (defun gnus-namazu/mknmz-cleanup (directory)
 699   (let ((lockfile (gnus-namazu/lock-file-name directory)))
 700     (when (file-exists-p lockfile)
 701       (delete-file lockfile)
 702       (dolist (tmpfile (directory-files directory t "\\`NMZ\\..*\\.tmp\\'" t))
 703         (delete-file tmpfile)))))
 704
 705 ;;;###autoload
 706 (defun gnus-namazu-create-index (directory &optional target-directories force)
 707   "Create index under DIRECTORY."
 708   (interactive
 709    (list
 710     (if (and current-prefix-arg (> (length gnus-namazu-index-directories) 1))
 711         (completing-read "Directory: "
 712                          (mapcar 'list gnus-namazu-index-directories) nil t)
 713       (gnus-namazu/default-index-directory))
 714     nil t))
 715   (setq directory (file-name-as-directory (expand-file-name directory)))
 716   (unless target-directories
 717     (setq target-directories
 718           (delq nil
 719                 (mapcar (lambda (dir)
 720                           (when (file-directory-p dir) dir))
 721                         (append
 722                          (mapcar 'gnus-namazu/server-directory
 723                                  (gnus-namazu/indexed-servers))
 724                          (list
 725                           (expand-file-name gnus-cache-directory)
 726                           (expand-file-name gnus-agent-directory)))))))
 727   (if (file-exists-p (gnus-namazu/lock-file-name directory))
 728       (when force
 729         (error "Found lock file: %s" (gnus-namazu/lock-file-name directory)))
 730     (with-current-buffer
 731         (get-buffer-create (concat " *mknmz*" directory))
 732       (erase-buffer)
 733       (unless (file-directory-p directory)
 734         (make-directory directory t))
 735       (setq default-directory directory)
 736       (let ((args (append gnus-namazu-make-index-arguments
 737                           target-directories)))
 738         (insert "% " gnus-namazu-make-index-command " "
 739                 (mapconcat 'identity args " ") "\n")
 740         (goto-char (point-max))
 741         (when force
 742           (pop-to-buffer (current-buffer)))
 743         (message "Make index at %s..." directory)
 744         (unwind-protect
 745             (apply 'call-process gnus-namazu-make-index-command nil t t args)
 746           (gnus-namazu/mknmz-cleanup directory))
 747         (message "Make index at %s...done" directory)
 748         (unless force
 749           (kill-buffer (current-buffer)))))
 750     (gnus-namazu/make-directory-table t)))
 751
 752 (defun gnus-namazu/lapse-seconds (start end)
 753   "Return lapse seconds from START to END.
 754 START and END are lists which represent time in Emacs-style."
 755   (+ (* (- (car end) (car start)) 65536)
 756      (cadr end)
 757      (- (cadr start))))
 758
 759 (defun gnus-namazu/index-old-p (directory)
 760   "Return non-nil value when the index under the DIRECTORY is older
 761 than the period that is set to `gnus-namazu-index-update-interval'"
 762   (let ((file (gnus-namazu/index-file-name directory)))
 763     (or (not (file-exists-p file))
 764         (and (integerp gnus-namazu-index-update-interval)
 765              (>= (gnus-namazu/lapse-seconds
 766                   (nth 5 (file-attributes file))
 767                   (current-time))
 768                  gnus-namazu-index-update-interval)))))
 769
 770 (defvar gnus-namazu/update-directories nil)
 771 (defvar gnus-namazu/update-process nil)
 772
 773 (defun gnus-namazu/update-p (directory &optional force)
 774   "Return the DIRECTORY when the index undef the DIRECTORY should be updated."
 775   (setq directory (file-name-as-directory (expand-file-name directory)))
 776   (labels ((error-message (format &rest args)
 777                           (apply (if force 'error 'message) format args)
 778                           nil))
 779     (if gnus-namazu/update-process
 780         (error-message "%s" "Can not run two update processes simultaneously")
 781       (and (or force
 782                (gnus-namazu/index-old-p directory))
 783            (let ((status-file (gnus-namazu/status-file-name directory)))
 784              (or (file-exists-p status-file)
 785                  (error-message "Can not find status file: %s" status-file)))
 786            (let ((lock-file (gnus-namazu/lock-file-name directory)))
 787              (or (not (file-exists-p lock-file))
 788                  (error-message "Found lock file: %s" lock-file)))
 789            directory))))
 790
 791 ;;;###autoload
 792 (defun gnus-namazu-update-index (directory &optional force)
 793   "Update the index under the DIRECTORY."
 794   (interactive
 795    (list
 796     (if (and current-prefix-arg (> (length gnus-namazu-index-directories) 1))
 797         (completing-read "Directory: "
 798                          (mapcar 'list gnus-namazu-index-directories) nil t)
 799       (gnus-namazu/default-index-directory))
 800     t))
 801   (when (setq directory (gnus-namazu/update-p directory force))
 802     (with-current-buffer (get-buffer-create (concat " *mknmz*" directory))
 803       (buffer-disable-undo)
 804       (erase-buffer)
 805       (unless (file-directory-p directory)
 806         (make-directory directory t))
 807       (setq default-directory directory)
 808       (let ((proc (start-process gnus-namazu-make-index-command
 809                                  (current-buffer)
 810                                  gnus-namazu-make-index-command
 811                                  (format "--update=%s" directory))))
 812         (if (processp proc)
 813             (prog1 (setq gnus-namazu/update-process proc)
 814               (process-kill-without-query proc)
 815               (set-process-sentinel proc 'gnus-namazu/update-sentinel)
 816               (add-hook 'kill-emacs-hook 'gnus-namazu-stop-update)
 817               (message "Update index at %s..." directory))
 818           (goto-char (point-min))
 819           (if (re-search-forward "^ERROR:.*$" nil t)
 820               (progn
 821                 (pop-to-buffer (current-buffer))
 822                 (funcall (if force 'error 'message)
 823                          "Update index at %s...%s" directory (match-string 0)))
 824             (kill-buffer (current-buffer))
 825             (funcall (if force 'error 'message)
 826                      "Can not start %s" gnus-namazu-make-index-command))
 827           nil)))))
 828
 829 ;;;###autoload
 830 (defun gnus-namazu-update-all-indices (&optional force)
 831   "Update all indices which is set to `gnus-namazu-index-directories'."
 832   (interactive (list t))
 833   (gnus-namazu-update-indices gnus-namazu-index-directories force))
 834
 835 (defun gnus-namazu-update-indices (&optional directories force)
 836   (when (setq directories
 837               (delq nil (mapcar (lambda (d)
 838                                   (gnus-namazu/update-p d force))
 839                                 directories)))
 840     (setq gnus-namazu/update-directories (cons force (cdr directories)))
 841     (gnus-namazu-update-index (car directories) force)))
 842
 843 (defun gnus-namazu/update-sentinel (process event)
 844   (let ((buffer (process-buffer process)))
 845     (when (buffer-name buffer)
 846       (with-current-buffer buffer
 847         (gnus-namazu/mknmz-cleanup default-directory)
 848         (goto-char (point-min))
 849         (cond
 850          ((re-search-forward "^ERROR:.*$" nil t)
 851           (pop-to-buffer (current-buffer))
 852           (message "Update index at %s...%s"
 853                    default-directory (match-string 0))
 854           (setq gnus-namazu/update-directories nil))
 855          ((and (eq 'exit (process-status process))
 856                (zerop (process-exit-status process)))
 857           (message "Update index at %s...done" default-directory)
 858           (unless (or debug-on-error debug-on-quit)
 859             (kill-buffer buffer)))))))
 860   (setq gnus-namazu/update-process nil)
 861   (unless (gnus-namazu-update-indices (cdr gnus-namazu/update-directories)
 862                                       (car gnus-namazu/update-directories))
 863     (gnus-namazu/make-directory-table t)))
 864
 865 ;;;###autoload
 866 (defun gnus-namazu-stop-update ()
 867   "Stop the running indexer of Namazu."
 868   (interactive)
 869   (setq gnus-namazu/update-directories nil)
 870   (and gnus-namazu/update-process
 871        (processp gnus-namazu/update-process)
 872        (kill-process gnus-namazu/update-process)))
 873
 874 (let (current-load-list)
 875   (defadvice gnus-offer-save-summaries
 876     (before gnus-namazu-kill-summary-buffers activate compile)
 877     "Advised by `gnus-namazu'.
 878 In order to avoid annoying questions, kill summary buffers which
 879 generated by `gnus-namazu' itself before `gnus-offer-save-summaries'
 880 is called."
 881     (let ((buffers (buffer-list)))
 882       (while buffers
 883         (when (with-current-buffer (car buffers)
 884                 (and (eq major-mode 'gnus-summary-mode)
 885                      (gnus-ephemeral-group-p gnus-newsgroup-name)
 886                      (string-match gnus-namazu/group-name-regexp
 887                                    gnus-newsgroup-name)))
 888           (kill-buffer (car buffers)))
 889         (setq buffers (cdr buffers))))))
 890
 891 ;;;###autoload
 892 (defun gnus-namazu-insinuate ()
 893   (add-hook
 894    'gnus-group-mode-hook
 895    (lambda ()
 896      (define-key gnus-group-mode-map "\C-c\C-n" 'gnus-namazu-search)))
 897   (add-hook
 898    'gnus-summary-mode-hook
 899    (lambda ()
 900      (define-key gnus-summary-mode-map "\C-c\C-n" 'gnus-namazu-search))))
 901
 902 (provide 'gnus-namazu)
 903
 904 ;;; arch-tag: a6814a35-593a-4563-8157-a2b762c29ed8
 905 ;; gnus-namazu.el ends here.