cgit.sxemacs.org Git - gnus/blob - lisp/spam-stat.el

   1 ;;; spam-stat.el --- detecting spam based on statistics
   2
   3 ;; Copyright (C) 2002, 2003 Free Software Foundation, Inc.
   4
   5 ;; Author: Alex Schroeder <alex@gnu.org>
   6 ;; Keywords: network
   7 ;; URL: http://www.emacswiki.org/cgi-bin/wiki.pl?SpamStat
   8
   9 ;; This file is part of GNU Emacs.
  10
  11 ;; This is free software; you can redistribute it and/or modify it
  12 ;; under the terms of the GNU General Public License as published by
  13 ;; the Free Software Foundation; either version 2, or (at your option)
  14 ;; any later version.
  15
  16 ;; This is distributed in the hope that it will be useful, but WITHOUT
  17 ;; ANY WARRANTY; without even the implied warranty of MERCHANTABILITY
  18 ;; or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public
  19 ;; License for more details.
  20
  21 ;; You should have received a copy of the GNU General Public License
  22 ;; along with GNU Emacs; see the file COPYING.  If not, write to the
  23 ;; Free Software Foundation, Inc., 59 Temple Place - Suite 330,
  24 ;; Boston, MA 02111-1307, USA.
  25
  26 ;;; Commentary:
  27
  28 ;; This implements spam analysis according to Paul Graham in "A Plan
  29 ;; for Spam".  The basis for all this is a statistical distribution of
  30 ;; words for your spam and non-spam mails.  We need this information
  31 ;; in a hash-table so that the analysis can use the information when
  32 ;; looking at your mails.  Therefore, before you begin, you need tons
  33 ;; of mails (Graham uses 4000 non-spam and 4000 spam mails for his
  34 ;; experiments).
  35 ;;
  36 ;; The main interface to using spam-stat, are the following functions:
  37 ;;
  38 ;; `spam-stat-buffer-is-spam' -- called in a buffer, that buffer is
  39 ;; considered to be a new spam mail; use this for new mail that has
  40 ;; not been processed before
  41 ;;
  42 ;; `spam-stat-buffer-is-non-spam' -- called in a buffer, that buffer
  43 ;; is considered to be a new non-spam mail; use this for new mail that
  44 ;; has not been processed before
  45 ;;
  46 ;; `spam-stat-buffer-change-to-spam' -- called in a buffer, that
  47 ;; buffer is no longer considered to be normal mail but spam; use this
  48 ;; to change the status of a mail that has already been processed as
  49 ;; non-spam
  50 ;;
  51 ;; `spam-stat-buffer-change-to-non-spam' -- called in a buffer, that
  52 ;; buffer is no longer considered to be spam but normal mail; use this
  53 ;; to change the status of a mail that has already been processed as
  54 ;; spam
  55 ;;
  56 ;; `spam-stat-save' -- save the hash table to the file; the filename
  57 ;; used is stored in the variable `spam-stat-file'
  58 ;;
  59 ;; `spam-stat-load' -- load the hash table from a file; the filename
  60 ;; used is stored in the variable `spam-stat-file'
  61 ;;
  62 ;; `spam-stat-score-word' -- return the spam score for a word
  63 ;;
  64 ;; `spam-stat-score-buffer' -- return the spam score for a buffer
  65 ;;
  66 ;; `spam-stat-split-fancy' -- for fancy mail splitting; add
  67 ;; the rule (: spam-stat-split-fancy) to `nnmail-split-fancy'
  68 ;;
  69 ;; This requires the following in your ~/.gnus file:
  70 ;;
  71 ;; (require 'spam-stat)
  72 ;; (spam-stat-load)
  73
  74 ;;; Testing:
  75
  76 ;; Typical test will involve calls to the following functions:
  77 ;;
  78 ;; Reset: (spam-stat-reset)
  79 ;; Learn spam: (spam-stat-process-spam-directory "~/Mail/mail/spam")
  80 ;; Learn non-spam: (spam-stat-process-non-spam-directory "~/Mail/mail/misc")
  81 ;; Save table: (spam-stat-save)
  82 ;; File size: (nth 7 (file-attributes spam-stat-file))
  83 ;; Number of words: (hash-table-count spam-stat)
  84 ;; Test spam: (spam-stat-test-directory "~/Mail/mail/spam")
  85 ;; Test non-spam: (spam-stat-test-directory "~/Mail/mail/misc")
  86 ;; Reduce table size: (spam-stat-reduce-size)
  87 ;; Save table: (spam-stat-save)
  88 ;; File size: (nth 7 (file-attributes spam-stat-file))
  89 ;; Number of words: (hash-table-count spam-stat)
  90 ;; Test spam: (spam-stat-test-directory "~/Mail/mail/spam")
  91 ;; Test non-spam: (spam-stat-test-directory "~/Mail/mail/misc")
  92
  93 ;;; Dictionary Creation:
  94
  95 ;; Typically, you will filter away mailing lists etc. using specific
  96 ;; rules in `nnmail-split-fancy'.  Somewhere among these rules, you
  97 ;; will filter spam.  Here is how you would create your dictionary:
  98
  99 ;; Reset: (spam-stat-reset)
 100 ;; Learn spam: (spam-stat-process-spam-directory "~/Mail/mail/spam")
 101 ;; Learn non-spam: (spam-stat-process-non-spam-directory "~/Mail/mail/misc")
 102 ;; Repeat for any other non-spam group you need...
 103 ;; Reduce table size: (spam-stat-reduce-size)
 104 ;; Save table: (spam-stat-save)
 105
 106 ;;; Todo:
 107
 108 ;; Speed it up.  Integrate with Gnus such that it uses spam and expiry
 109 ;; marks to call the appropriate functions when leaving the summary
 110 ;; buffer and saves the hash table when leaving Gnus.  More testing:
 111 ;; More mails, disabling SpamAssassin, double checking algorithm, find
 112 ;; improved algorithm.
 113
 114 ;;; Thanks:
 115
 116 ;; Ted Zlatanov <tzz@lifelogs.com>
 117 ;; Jesper Harder <harder@myrealbox.com>
 118 ;; Dan Schmidt <dfan@dfan.org>
 119 ;; Lasse Rasinen <lrasinen@iki.fi>
 120 ;; Milan Zamazal <pdm@zamazal.org>
 121
 122 \f
 123
 124 ;;; Code:
 125
 126 (defgroup spam-stat nil
 127   "Statistical spam detection for Emacs.
 128 Use the functions to build a dictionary of words and their statistical
 129 distribution in spam and non-spam mails.  Then use a function to determine
 130 whether a buffer contains spam or not."
 131   :group 'gnus)
 132
 133 (defcustom spam-stat-file "~/.spam-stat.el"
 134   "File used to save and load the dictionary.
 135 See `spam-stat-to-hash-table' for the format of the file."
 136   :type 'file
 137   :group 'spam-stat)
 138
 139 (defcustom spam-stat-install-hooks t
 140   "Whether spam-stat should install its hooks in Gnus.
 141 This is set to nil if you use spam-stat through spam.el."
 142   :type 'boolean
 143   :group 'spam-stat)
 144
 145 (defcustom spam-stat-unknown-word-score 0.2
 146   "The score to use for unknown words.
 147 Also used for words that don't appear often enough."
 148   :type 'number
 149   :group 'spam-stat)
 150
 151 (defcustom spam-stat-max-word-length 15
 152   "Only words shorter than this will be considered."
 153   :type 'integer
 154   :group 'spam-stat)
 155
 156 (defcustom spam-stat-max-buffer-length 10240
 157   "Only the beginning of buffers will be analyzed.
 158 This variable says how many characters this will be."
 159   :type 'integer
 160   :group 'spam-stat)
 161
 162 (defcustom spam-stat-split-fancy-spam-group "mail.spam"
 163   "Name of the group where spam should be stored, if
 164 `spam-stat-split-fancy' is used in fancy splitting rules.  Has no
 165 effect when spam-stat is invoked through spam.el."
 166   :type 'string
 167   :group 'spam-stat)
 168
 169 (defcustom spam-stat-split-fancy-spam-threshhold 0.9
 170   "Spam score threshhold in spam-stat-split-fancy."
 171   :type 'number
 172   :group 'spam-stat)
 173
 174 (defvar spam-stat-syntax-table
 175   (let ((table (copy-syntax-table text-mode-syntax-table)))
 176     (modify-syntax-entry ?- "w" table)
 177     (modify-syntax-entry ?_ "w" table)
 178     (modify-syntax-entry ?. "w" table)
 179     (modify-syntax-entry ?! "w" table)
 180     (modify-syntax-entry ?? "w" table)
 181     (modify-syntax-entry ?+ "w" table)
 182     table)
 183   "Syntax table used when processing mails for statistical analysis.
 184 The important part is which characters are word constituents.")
 185
 186 (defvar spam-stat-buffer nil
 187   "Buffer to use for scoring while splitting.
 188 This is set by hooking into Gnus.")
 189
 190 (defvar spam-stat-buffer-name " *spam stat buffer*"
 191   "Name of the `spam-stat-buffer'.")
 192
 193 ;; Functions missing in Emacs 20
 194
 195 (when (memq nil (mapcar 'fboundp
 196                         '(gethash hash-table-count make-hash-table
 197                                   mapc puthash)))
 198   (require 'cl)
 199   (unless (fboundp 'puthash)
 200     ;; alias puthash is missing from Emacs 20 cl-extra.el
 201     (defalias 'puthash 'cl-puthash)))
 202
 203 (eval-when-compile
 204   (unless (fboundp 'with-syntax-table)
 205     ;; Imported from Emacs 21.2
 206     (defmacro with-syntax-table (table &rest body) "\
 207 Evaluate BODY with syntax table of current buffer set to a copy of TABLE.
 208 The syntax table of the current buffer is saved, BODY is evaluated, and the
 209 saved table is restored, even in case of an abnormal exit.
 210 Value is what BODY returns."
 211       (let ((old-table (make-symbol "table"))
 212             (old-buffer (make-symbol "buffer")))
 213         `(let ((,old-table (syntax-table))
 214                (,old-buffer (current-buffer)))
 215            (unwind-protect
 216                (progn
 217                  (set-syntax-table (copy-syntax-table ,table))
 218                  ,@body)
 219              (save-current-buffer
 220                (set-buffer ,old-buffer)
 221                (set-syntax-table ,old-table))))))))
 222
 223 ;; Hooking into Gnus
 224
 225 (defun spam-stat-store-current-buffer ()
 226   "Store a copy of the current buffer in `spam-stat-buffer'."
 227   (save-excursion
 228     (let ((str (buffer-string)))
 229       (set-buffer (get-buffer-create spam-stat-buffer-name))
 230       (erase-buffer)
 231       (insert str)
 232       (setq spam-stat-buffer (current-buffer)))))
 233
 234 (defun spam-stat-store-gnus-article-buffer ()
 235   "Store a copy of the current article in `spam-stat-buffer'.
 236 This uses `gnus-article-buffer'."
 237   (save-excursion
 238     (set-buffer gnus-original-article-buffer)
 239     (spam-stat-store-current-buffer)))
 240
 241 (when spam-stat-install-hooks
 242   (add-hook 'nnmail-prepare-incoming-message-hook
 243             'spam-stat-store-current-buffer)
 244   (add-hook 'gnus-select-article-hook
 245             'spam-stat-store-gnus-article-buffer))
 246
 247 ;; Data -- not using defstruct in order to save space and time
 248
 249 (defvar spam-stat (make-hash-table :test 'equal)
 250   "Hash table used to store the statistics.
 251 Use `spam-stat-load' to load the file.
 252 Every word is used as a key in this table.  The value is a vector.
 253 Use `spam-stat-ngood', `spam-stat-nbad', `spam-stat-good',
 254 `spam-stat-bad', and `spam-stat-score' to access this vector.")
 255
 256 (defvar spam-stat-ngood 0
 257   "The number of good mails in the dictionary.")
 258
 259 (defvar spam-stat-nbad 0
 260   "The number of bad mails in the dictionary.")
 261
 262 (defsubst spam-stat-good (entry)
 263   "Return the number of times this word belongs to good mails."
 264   (aref entry 0))
 265
 266 (defsubst spam-stat-bad (entry)
 267   "Return the number of times this word belongs to bad mails."
 268   (aref entry 1))
 269
 270 (defsubst spam-stat-score (entry)
 271   "Set the score of this word."
 272   (if entry
 273       (aref entry 2)
 274     spam-stat-unknown-word-score))
 275
 276 (defsubst spam-stat-set-good (entry value)
 277   "Set the number of times this word belongs to good mails."
 278   (aset entry 0 value))
 279
 280 (defsubst spam-stat-set-bad (entry value)
 281   "Set the number of times this word belongs to bad mails."
 282   (aset entry 1 value))
 283
 284 (defsubst spam-stat-set-score (entry value)
 285   "Set the score of this word."
 286   (aset entry 2 value))
 287
 288 (defsubst spam-stat-make-entry (good bad)
 289   "Return a vector with the given properties."
 290   (let ((entry (vector good bad nil)))
 291     (spam-stat-set-score entry (spam-stat-compute-score entry))
 292     entry))
 293
 294 ;; Computing
 295
 296 (defun spam-stat-compute-score (entry)
 297   "Compute the score of this word.  1.0 means spam."
 298    ;; promote all numbers to floats for the divisions
 299    (let* ((g (* 2.0 (spam-stat-good entry)))
 300           (b (float (spam-stat-bad entry))))
 301      (cond ((< (+ g b) 5)
 302             .2)
 303            ((= 0 spam-stat-ngood)
 304             .99)
 305            ((= 0 spam-stat-nbad)
 306             .01)
 307            (t
 308             (max .01
 309                  (min .99 (/ (/ b spam-stat-nbad)
 310                              (+ (/ g spam-stat-ngood)
 311                                 (/ b spam-stat-nbad)))))))))
 312
 313 ;; Parsing
 314
 315 (defmacro with-spam-stat-max-buffer-size (&rest body)
 316   "Narrows the buffer down to the first 4k characters, then evaluates BODY."
 317   `(save-restriction
 318      (when (> (- (point-max)
 319                  (point-min))
 320               spam-stat-max-buffer-length)
 321        (narrow-to-region (point-min)
 322                          (+ (point-min) spam-stat-max-buffer-length)))
 323      ,@body))
 324
 325 (defun spam-stat-buffer-words ()
 326   "Return a hash table of words and number of occurences in the buffer."
 327   (with-spam-stat-max-buffer-size
 328    (with-syntax-table spam-stat-syntax-table
 329      (goto-char (point-min))
 330      (let ((result (make-hash-table :test 'equal))
 331            word count)
 332        (while (re-search-forward "\\w+" nil t)
 333          (setq word (match-string-no-properties 0)
 334                count (1+ (gethash word result 0)))
 335          (when (< (length word) spam-stat-max-word-length)
 336            (puthash word count result)))
 337        result))))
 338
 339 (defun spam-stat-buffer-is-spam ()
 340   "Consider current buffer to be a new spam mail."
 341   (setq spam-stat-nbad (1+ spam-stat-nbad))
 342   (maphash
 343    (lambda (word count)
 344      (let ((entry (gethash word spam-stat)))
 345        (if entry
 346            (spam-stat-set-bad entry (+ count (spam-stat-bad entry)))
 347          (setq entry (spam-stat-make-entry 0 count)))
 348        (spam-stat-set-score entry (spam-stat-compute-score entry))
 349        (puthash word entry spam-stat)))
 350    (spam-stat-buffer-words)))
 351
 352 (defun spam-stat-buffer-is-non-spam ()
 353   "Consider current buffer to be a new non-spam mail."
 354   (setq spam-stat-ngood (1+ spam-stat-ngood))
 355   (maphash
 356    (lambda (word count)
 357      (let ((entry (gethash word spam-stat)))
 358        (if entry
 359            (spam-stat-set-good entry (+ count (spam-stat-good entry)))
 360          (setq entry (spam-stat-make-entry count 0)))
 361        (spam-stat-set-score entry (spam-stat-compute-score entry))
 362        (puthash word entry spam-stat)))
 363    (spam-stat-buffer-words)))
 364
 365 (defun spam-stat-buffer-change-to-spam ()
 366   "Consider current buffer no longer normal mail but spam."
 367   (setq spam-stat-nbad (1+ spam-stat-nbad)
 368         spam-stat-ngood (1- spam-stat-ngood))
 369   (maphash
 370    (lambda (word count)
 371      (let ((entry (gethash word spam-stat)))
 372        (if (not entry)
 373            (error "This buffer has unknown words in it.")
 374          (spam-stat-set-good entry (- (spam-stat-good entry) count))
 375          (spam-stat-set-bad entry (+ (spam-stat-bad entry) count))
 376          (spam-stat-set-score entry (spam-stat-compute-score entry))
 377          (puthash word entry spam-stat))))
 378    (spam-stat-buffer-words)))
 379
 380 (defun spam-stat-buffer-change-to-non-spam ()
 381   "Consider current buffer no longer spam but normal mail."
 382   (setq spam-stat-nbad (1- spam-stat-nbad)
 383         spam-stat-ngood (1+ spam-stat-ngood))
 384   (maphash
 385    (lambda (word count)
 386      (let ((entry (gethash word spam-stat)))
 387        (if (not entry)
 388            (error "This buffer has unknown words in it.")
 389          (spam-stat-set-good entry (+ (spam-stat-good entry) count))
 390          (spam-stat-set-bad entry (- (spam-stat-bad entry) count))
 391          (spam-stat-set-score entry (spam-stat-compute-score entry))
 392          (puthash word entry spam-stat))))
 393    (spam-stat-buffer-words)))
 394
 395 ;; Saving and Loading
 396
 397 (defun spam-stat-save ()
 398   "Save the `spam-stat' hash table as lisp file."
 399   (interactive)
 400   (with-temp-buffer
 401     (let ((standard-output (current-buffer))
 402           (font-lock-maximum-size 0))
 403       (insert "(setq spam-stat-ngood "
 404               (number-to-string spam-stat-ngood)
 405               " spam-stat-nbad "
 406               (number-to-string spam-stat-nbad)
 407               " spam-stat (spam-stat-to-hash-table '(")
 408       (maphash (lambda (word entry)
 409                  (prin1 (list word
 410                               (spam-stat-good entry)
 411                               (spam-stat-bad entry))))
 412                spam-stat)
 413       (insert ")))")
 414     (write-file spam-stat-file))))
 415
 416 (defun spam-stat-load ()
 417   "Read the `spam-stat' hash table from disk."
 418   (load-file spam-stat-file))
 419
 420 (defun spam-stat-to-hash-table (entries)
 421   "Turn list ENTRIES into a hash table and store as `spam-stat'.
 422 Every element in ENTRIES has the form \(WORD GOOD BAD) where WORD is
 423 the word string, NGOOD is the number of good mails it has appeared in,
 424 NBAD is the number of bad mails it has appeared in, GOOD is the number
 425 of times it appeared in good mails, and BAD is the number of times it
 426 has appeared in bad mails."
 427   (let ((table (make-hash-table :test 'equal)))
 428     (mapc (lambda (l)
 429             (puthash (car l)
 430                      (spam-stat-make-entry (nth 1 l) (nth 2 l))
 431                      table))
 432           entries)
 433     table))
 434
 435 (defun spam-stat-reset ()
 436   "Reset `spam-stat' to an empty hash-table.
 437 This deletes all the statistics."
 438   (interactive)
 439   (setq spam-stat (make-hash-table :test 'equal)
 440         spam-stat-ngood 0
 441         spam-stat-nbad 0))
 442
 443 ;; Scoring buffers
 444
 445 (defvar spam-stat-score-data nil
 446   "Raw data used in the last run of `spam-stat-score-buffer'.")
 447
 448 (defsubst spam-stat-score-word (word)
 449   "Return score for WORD.
 450 The default score for unknown words is stored in
 451 `spam-stat-unknown-word-score'."
 452   (spam-stat-score (gethash word spam-stat)))
 453
 454 (defun spam-stat-buffer-words-with-scores ()
 455   "Process current buffer, return the 15 most conspicuous words.
 456 These are the words whose spam-stat differs the most from 0.5.
 457 The list returned contains elements of the form \(WORD SCORE DIFF),
 458 where DIFF is the difference between SCORE and 0.5."
 459   (with-spam-stat-max-buffer-size
 460    (with-syntax-table spam-stat-syntax-table
 461      (let (result word score)
 462        (maphash (lambda (word ignore)
 463                   (setq score (spam-stat-score-word word)
 464                         result (cons (list word score (abs (- score 0.5)))
 465                                      result)))
 466                 (spam-stat-buffer-words))
 467        (setq result (sort result (lambda (a b) (< (nth 2 b) (nth 2 a)))))
 468        (setcdr (nthcdr 14 result) nil)
 469        result))))
 470
 471 (defun spam-stat-score-buffer ()
 472   "Return a score describing the spam-probability for this buffer."
 473   (setq spam-stat-score-data (spam-stat-buffer-words-with-scores))
 474   (let* ((probs (mapcar (lambda (e) (cadr e)) spam-stat-score-data))
 475          (prod (apply #'* probs)))
 476     (/ prod (+ prod (apply #'* (mapcar #'(lambda (x) (- 1 x))
 477                                        probs))))))
 478
 479 (defun spam-stat-split-fancy ()
 480   "Return the name of the spam group if the current mail is spam.
 481 Use this function on `nnmail-split-fancy'.  If you are interested in
 482 the raw data used for the last run of `spam-stat-score-buffer',
 483 check the variable `spam-stat-score-data'."
 484   (condition-case var
 485       (progn
 486         (set-buffer spam-stat-buffer)
 487         (goto-char (point-min))
 488         (when (> (spam-stat-score-buffer) spam-stat-split-fancy-spam-threshhold)
 489           (when (boundp 'nnmail-split-trace)
 490             (mapc (lambda (entry)
 491                     (push entry nnmail-split-trace))
 492                   spam-stat-score-data))
 493           spam-stat-split-fancy-spam-group))
 494     (error (message "Error in spam-stat-split-fancy: %S" var)
 495            nil)))
 496
 497 ;; Testing
 498
 499 (defun spam-stat-process-directory (dir func)
 500   "Process all the regular files in directory DIR using function FUNC."
 501   (let* ((files (directory-files dir t "^[^.]"))
 502          (max (/ (length files) 100.0))
 503          (count 0))
 504     (with-temp-buffer
 505       (dolist (f files)
 506         (when (and (file-readable-p f)
 507                    (file-regular-p f))
 508           (setq count (1+ count))
 509           (message "Reading %s: %.2f%%" dir (/ count max))
 510           (insert-file-contents f)
 511           (funcall func)
 512           (erase-buffer))))))
 513
 514 (defun spam-stat-process-spam-directory (dir)
 515   "Process all the regular files in directory DIR as spam."
 516   (interactive "D")
 517   (spam-stat-process-directory dir 'spam-stat-buffer-is-spam))
 518
 519 (defun spam-stat-process-non-spam-directory (dir)
 520   "Process all the regular files in directory DIR as non-spam."
 521   (interactive "D")
 522   (spam-stat-process-directory dir 'spam-stat-buffer-is-non-spam))
 523
 524 (defun spam-stat-count ()
 525   "Return size of `spam-stat'."
 526   (interactive)
 527   (hash-table-count spam-stat))
 528
 529 (defun spam-stat-test-directory (dir)
 530   "Test all the regular files in directory DIR for spam.
 531 If the result is 1.0, then all files are considered spam.
 532 If the result is 0.0, non of the files is considered spam.
 533 You can use this to determine error rates."
 534   (interactive "D")
 535   (let* ((files (directory-files dir t "^[^.]"))
 536          (total (length files))
 537          (score 0.0); float
 538          (max (/ total 100.0)); float
 539          (count 0))
 540     (with-temp-buffer
 541       (dolist (f files)
 542         (when (and (file-readable-p f)
 543                    (file-regular-p f))
 544           (setq count (1+ count))
 545           (message "Reading %.2f%%, score %.2f%%"
 546                    (/ count max) (/ score count))
 547           (insert-file-contents f)
 548           (when (> (spam-stat-score-buffer) 0.9)
 549             (setq score (1+ score)))
 550           (erase-buffer))))
 551     (message "Final score: %d / %d = %f" score total (/ score total))))
 552
 553 ;; Shrinking the dictionary
 554
 555 (defun spam-stat-reduce-size (&optional count)
 556   "Reduce the size of `spam-stat'.
 557 This removes all words that occur less than COUNT from the dictionary.
 558 COUNT defaults to 5"
 559   (interactive)
 560   (setq count (or count 5))
 561   (maphash (lambda (key entry)
 562              (when (< (+ (spam-stat-good entry)
 563                          (spam-stat-bad entry))
 564                       count)
 565                (remhash key spam-stat)))
 566            spam-stat))
 567
 568 (provide 'spam-stat)
 569
 570 ;;; spam-stat.el ends here