Gnus -- minor build / warning fixes [OK For Upstream]
[gnus] / lisp / gnus-html.el
index bfbdc41..f23acf1 100644 (file)
@@ -1,6 +1,6 @@
 ;;; gnus-html.el --- Render HTML in a buffer.
 
-;; Copyright (C) 2010  Free Software Foundation, Inc.
+;; Copyright (C) 2010-2016 Free Software Foundation, Inc.
 
 ;; Author: Lars Magne Ingebrigtsen <larsi@gnus.org>
 ;; Keywords: html, web
 ;;; Code:
 
 (eval-when-compile (require 'cl))
-(eval-when-compile (require 'mm-decode))
 
 (require 'gnus-art)
+(eval-when-compile (require 'mm-decode))
+
 (require 'mm-url)
 (require 'url)
 (require 'url-cache)
 (require 'xml)
 (require 'browse-url)
+(require 'mm-util)
 (eval-and-compile (unless (featurep 'xemacs) (require 'help-fns)))
 
 (defcustom gnus-html-image-cache-ttl (days-to-time 7)
   "Time used to determine if we should use images from the cache."
   :version "24.1"
   :group 'gnus-art
-  :type 'integer)
+  ;; FIXME hardly the friendliest type.  The allowed value is actually
+  ;; any time value, but we are assuming no-one cares about USEC and
+  ;; PSEC here.  It would be better to eg make it a number of minutes.
+  :type '(list integer integer))
 
 (defcustom gnus-html-image-automatic-caching t
   "Whether automatically cache retrieve images."
   :group 'gnus-art
   :type 'integer)
 
-(defcustom gnus-blocked-images "."
-  "Images that have URLs matching this regexp will be blocked."
-  :version "24.1"
-  :group 'gnus-art
-  :type 'regexp)
-
 (defcustom gnus-max-image-proportion 0.9
   "How big pictures displayed are in relation to the window they're in.
 A value of 0.7 means that they are allowed to take up 70% of the
@@ -140,7 +139,8 @@ CHARS is a regexp-like character alternative (e.g., \"[)$]\")."
                 (charset (mail-content-type-get (mm-handle-type handle)
                                                 'charset)))
            (when (and charset
-                      (setq charset (mm-charset-to-coding-system charset))
+                      (setq charset (mm-charset-to-coding-system
+                                     charset nil t))
                       (not (eq charset 'ascii)))
              (insert (prog1
                          (mm-decode-coding-string (buffer-string) charset)
@@ -174,7 +174,13 @@ CHARS is a regexp-like character alternative (e.g., \"[)$]\")."
 
 (defun gnus-html-wash-images ()
   "Run through current buffer and replace img tags by images."
-  (let (tag parameters string start end images url)
+  (let (parameters start end url alt-text inhibit-images blocked-images)
+    (if (buffer-live-p gnus-summary-buffer)
+       (with-current-buffer gnus-summary-buffer
+         (setq inhibit-images gnus-inhibit-images
+               blocked-images (gnus-blocked-images)))
+      (setq inhibit-images gnus-inhibit-images
+           blocked-images (gnus-blocked-images)))
     (goto-char (point-min))
     ;; Search for all the images first.
     (while (re-search-forward "<img_alt \\([^>]*\\)>" nil t)
@@ -185,78 +191,94 @@ CHARS is a regexp-like character alternative (e.g., \"[)$]\")."
        (delete-region (match-beginning 0) (match-end 0)))
       (setq end (point))
       (when (string-match "src=\"\\([^\"]+\\)" parameters)
-       (setq url (gnus-html-encode-url (match-string 1 parameters)))
        (gnus-message 8 "gnus-html-wash-tags: fetching image URL %s" url)
-       (if (string-match "^cid:\\(.*\\)" url)
+       (setq url (gnus-html-encode-url (match-string 1 parameters))
+             alt-text (when (string-match "\\(alt\\|title\\)=\"\\([^\"]+\\)"
+                                          parameters)
+                        (xml-substitute-special (match-string 2 parameters))))
+       (gnus-add-text-properties
+        start end
+        (list 'image-url url
+              'image-displayer `(lambda (url start end)
+                                  (gnus-html-display-image url start end
+                                                           ,alt-text))
+              'gnus-image (list url start end alt-text)))
+       (widget-convert-button
+        'url-link start (point)
+        :help-echo alt-text
+        :keymap gnus-html-image-map
+        url)
+       (if (string-match "\\`cid:" url)
            ;; URLs with cid: have their content stashed in other
            ;; parts of the MIME structure, so just insert them
            ;; immediately.
-           (let ((handle (mm-get-content-id
-                          (setq url (match-string 1 url))))
-                 image)
-             (when handle
-               (mm-with-part handle
-                 (setq image (gnus-create-image (buffer-string)
-                                                nil t))))
-             (when image
-                (let ((string (buffer-substring start end)))
-                  (delete-region start end)
-                  (gnus-put-image image (gnus-string-or string "*") 'cid)
-                  (gnus-add-image 'cid image))))
+           (let* ((handle (mm-get-content-id (substring url (match-end 0))))
+                  (image (when (and handle
+                                    (not inhibit-images))
+                           (gnus-create-image
+                            (mm-with-part handle (buffer-string))
+                            nil t))))
+             (if image
+                 (gnus-add-image
+                  'cid
+                  (gnus-put-image
+                   (gnus-rescale-image
+                    image (gnus-html-maximum-image-size))
+                   (gnus-string-or (prog1
+                                       (buffer-substring start end)
+                                     (delete-region start end))
+                                   "*")
+                   'cid))
+               (widget-convert-button
+                'link start end
+                :action 'gnus-html-insert-image
+                :help-echo url
+                :keymap gnus-html-image-map
+                :button-keymap gnus-html-image-map)))
          ;; Normal, external URL.
-          (let ((alt-text (when (string-match "\\(alt\\|title\\)=\"\\([^\"]+\\)"
-                                              parameters)
-                            (xml-substitute-special (match-string 2 parameters)))))
-            (gnus-put-text-property start end 'gnus-image-url url)
-            (if (gnus-html-image-url-blocked-p
-                 url
-                 (if (buffer-live-p gnus-summary-buffer)
-                     (with-current-buffer gnus-summary-buffer
-                       gnus-blocked-images)
-                   gnus-blocked-images))
-                (progn
-                  (widget-convert-button
-                   'link start end
-                   :action 'gnus-html-insert-image
-                   :help-echo url
-                   :keymap gnus-html-image-map
-                   :button-keymap gnus-html-image-map)
-                  (let ((overlay (gnus-make-overlay start end))
-                        (spec (list url start end alt-text)))
-                    (gnus-overlay-put overlay 'local-map gnus-html-image-map)
-                    (gnus-overlay-put overlay 'gnus-image spec)
-                    (gnus-put-text-property
-                     start end
-                     'gnus-image spec)))
-              ;; Non-blocked url
-              (let ((width
-                     (when (string-match "width=\"?\\([0-9]+\\)" parameters)
-                       (string-to-number (match-string 1 parameters))))
-                    (height
-                     (when (string-match "height=\"?\\([0-9]+\\)" parameters)
-                       (string-to-number (match-string 1 parameters)))))
-                ;; Don't fetch images that are really small.  They're
-                ;; probably tracking pictures.
-                (when (and (or (null height)
-                               (> height 4))
-                           (or (null width)
-                               (> width 4)))
-                  (gnus-html-display-image url start end alt-text))))))))))
-
-(defun gnus-html-display-image (url start end alt-text)
+         (if (or inhibit-images
+                 (gnus-html-image-url-blocked-p url blocked-images))
+             (widget-convert-button
+              'link start end
+              :action 'gnus-html-insert-image
+              :help-echo url
+              :keymap gnus-html-image-map
+              :button-keymap gnus-html-image-map)
+           ;; Non-blocked url
+           (let ((width
+                  (when (string-match "width=\"?\\([0-9]+\\)" parameters)
+                    (string-to-number (match-string 1 parameters))))
+                 (height
+                  (when (string-match "height=\"?\\([0-9]+\\)" parameters)
+                    (string-to-number (match-string 1 parameters)))))
+             ;; Don't fetch images that are really small.  They're
+             ;; probably tracking pictures.
+             (when (and (or (null height)
+                            (> height 4))
+                        (or (null width)
+                            (> width 4)))
+               (gnus-html-display-image url start end alt-text)))))))))
+
+(defun gnus-html-display-image (url start end &optional alt-text)
   "Display image at URL on text from START to END.
 Use ALT-TEXT for the image string."
-  (if (gnus-html-cache-expired url gnus-html-image-cache-ttl)
-      ;; We don't have it, so schedule it for fetching
-      ;; asynchronously.
-      (gnus-html-schedule-image-fetching
-       (current-buffer)
-       (list url alt-text))
-    ;; It's already cached, so just insert it.
-    (gnus-html-put-image (gnus-html-get-image-data url) url alt-text)))
+  (or alt-text (setq alt-text "*"))
+  (if (string-match "\\`cid:" url)
+      (let ((handle (mm-get-content-id (substring url (match-end 0)))))
+       (when handle
+         (gnus-html-put-image (mm-with-part handle (buffer-string))
+                              url alt-text)))
+    (if (gnus-html-cache-expired url gnus-html-image-cache-ttl)
+       ;; We don't have it, so schedule it for fetching
+       ;; asynchronously.
+       (gnus-html-schedule-image-fetching
+        (current-buffer)
+        (list url alt-text))
+      ;; It's already cached, so just insert it.
+      (gnus-html-put-image (gnus-html-get-image-data url) url alt-text))))
 
 (defun gnus-html-wash-tags ()
-  (let (tag parameters string start end images url)
+  (let (tag parameters start end url)
     (gnus-html-pre-wash)
     (gnus-html-wash-images)
 
@@ -284,12 +306,12 @@ Use ALT-TEXT for the image string."
          (gnus-article-add-button start end
                                   'browse-url (mm-url-decode-entities-string url)
                                   url)
-         (let ((overlay (gnus-make-overlay start end)))
-           (gnus-overlay-put overlay 'evaporate t)
-           (gnus-overlay-put overlay 'gnus-button-url url)
+         (let ((overlay (make-overlay start end)))
+           (overlay-put overlay 'evaporate t)
+           (overlay-put overlay 'gnus-button-url url)
            (gnus-put-text-property start end 'gnus-string url)
            (when gnus-article-mouse-face
-             (gnus-overlay-put overlay 'mouse-face gnus-article-mouse-face)))))
+             (overlay-put overlay 'mouse-face gnus-article-mouse-face)))))
        ;; The upper-case IMG_ALT is apparently just an artifact that
        ;; should be deleted.
        ((equal tag "IMG_ALT")
@@ -297,19 +319,19 @@ Use ALT-TEXT for the image string."
        ;; w3m does not normalize the case
        ((or (equal tag "b")
             (equal tag "B"))
-        (gnus-overlay-put (gnus-make-overlay start end) 'face 'gnus-emphasis-bold))
+        (overlay-put (make-overlay start end) 'face 'gnus-emphasis-bold))
        ((or (equal tag "u")
             (equal tag "U"))
-        (gnus-overlay-put (gnus-make-overlay start end) 'face 'gnus-emphasis-underline))
+        (overlay-put (make-overlay start end) 'face 'gnus-emphasis-underline))
        ((or (equal tag "i")
             (equal tag "I"))
-        (gnus-overlay-put (gnus-make-overlay start end) 'face 'gnus-emphasis-italic))
+        (overlay-put (make-overlay start end) 'face 'gnus-emphasis-italic))
        ((or (equal tag "s")
             (equal tag "S"))
-        (gnus-overlay-put (gnus-make-overlay start end) 'face 'gnus-emphasis-strikethru))
+        (overlay-put (make-overlay start end) 'face 'gnus-emphasis-strikethru))
        ((or (equal tag "ins")
             (equal tag "INS"))
-        (gnus-overlay-put (gnus-make-overlay start end) 'face 'gnus-emphasis-underline))
+        (overlay-put (make-overlay start end) 'face 'gnus-emphasis-underline))
        ;; Handle different UL types
        ((equal tag "_SYMBOL")
         (when (string-match "TYPE=\\(.+\\)" parameters)
@@ -337,7 +359,7 @@ Use ALT-TEXT for the image string."
       (replace-match "" t t))
     (mm-url-decode-entities)))
 
-(defun gnus-html-insert-image ()
+(defun gnus-html-insert-image (&rest args)
   "Fetch and insert the image under point."
   (interactive)
   (apply 'gnus-html-display-image (get-text-property (point) 'gnus-image)))
@@ -350,42 +372,46 @@ Use ALT-TEXT for the image string."
 (defun gnus-html-browse-image ()
   "Browse the image under point."
   (interactive)
-  (browse-url (get-text-property (point) 'gnus-image-url)))
+  (browse-url (get-text-property (point) 'image-url)))
 
 (defun gnus-html-browse-url ()
   "Browse the image under point."
   (interactive)
   (let ((url (get-text-property (point) 'gnus-string)))
-    (if (not url)
-       (message "No URL at point")
-      (browse-url url))))
+    (cond
+     ((not url)
+      (message "No link under point"))
+     ((string-match "^mailto:" url)
+      (gnus-url-mailto url))
+     (t
+      (browse-url url)))))
 
 (defun gnus-html-schedule-image-fetching (buffer image)
   "Retrieve IMAGE, and place it into BUFFER on arrival."
   (gnus-message 8 "gnus-html-schedule-image-fetching: buffer %s, image %s"
                 buffer image)
-  (let ((args (list (car image)
+  (if (fboundp 'url-queue-retrieve)
+      (url-queue-retrieve (car image)
+                         'gnus-html-image-fetched
+                         (list buffer image) t t)
+    (ignore-errors
+      (url-retrieve (car image)
                    'gnus-html-image-fetched
-                   (list buffer image))))
-    (when (> (length (if (featurep 'xemacs)
-                        (split-string (function-arglist 'url-retrieve))
-                      (help-function-arglist 'url-retrieve)))
-            4)
-      (setq args (nconc args (list t))))
-    (apply #'url-retrieve args)))
+                   (list buffer image)))))
 
 (defun gnus-html-image-fetched (status buffer image)
   "Callback function called when image has been fetched."
   (unless (plist-get status :error)
-    (when gnus-html-image-automatic-caching
-      (url-store-in-cache (current-buffer)))
     (when (and (or (search-forward "\n\n" nil t)
                    (search-forward "\r\n\r\n" nil t))
-               (buffer-live-p buffer))
-      (let ((data (buffer-substring (point) (point-max))))
-        (with-current-buffer buffer
-          (let ((inhibit-read-only t))
-            (gnus-html-put-image data (car image) (cadr image)))))))
+              (not (eobp)))
+      (when gnus-html-image-automatic-caching
+       (url-store-in-cache (current-buffer)))
+      (when (buffer-live-p buffer)
+       (let ((data (buffer-substring (point) (point-max))))
+         (with-current-buffer buffer
+           (let ((inhibit-read-only t))
+             (gnus-html-put-image data (car image) (cadr image))))))))
   (kill-buffer (current-buffer)))
 
 (defun gnus-html-get-image-data (url)
@@ -398,12 +424,30 @@ Return a string with image data."
               (search-forward "\r\n\r\n" nil t))
       (buffer-substring (point) (point-max)))))
 
+(defun gnus-html-maximum-image-size ()
+  "Return the maximum size of an image according to `gnus-max-image-proportion'."
+  (let ((edges (gnus-window-inside-pixel-edges
+                (get-buffer-window (current-buffer)))))
+    ;; (width . height)
+    (cons
+     ;; Aimed width
+     (truncate
+      (* gnus-max-image-proportion
+         (- (nth 2 edges) (nth 0 edges))))
+     ;; Aimed height
+     (truncate (* gnus-max-image-proportion
+                  (- (nth 3 edges) (nth 1 edges)))))))
+
+;; Behind display-graphic-p test.
+(declare-function image-size "image.c" (spec &optional pixels frame))
+
 (defun gnus-html-put-image (data url &optional alt-text)
+  "Put an image with DATA from URL and optional ALT-TEXT."
   (when (gnus-graphic-display-p)
     (let* ((start (text-property-any (point-min) (point-max)
-                                    'gnus-image-url url))
+                                    'image-url url))
            (end (when start
-                  (next-single-property-change start 'gnus-image-url))))
+                  (next-single-property-change start 'image-url))))
       ;; Image found?
       (when start
         (let* ((image
@@ -416,7 +460,8 @@ Return a string with image data."
           (save-excursion
             (goto-char start)
             (let ((alt-text (or alt-text
-                               (buffer-substring-no-properties start end))))
+                               (buffer-substring-no-properties start end)))
+                 (inhibit-read-only t))
               (if (and image
                        ;; Kludge to avoid displaying 30x30 gif images, which
                        ;; seems to be a signal of a broken image.
@@ -434,30 +479,25 @@ Return a string with image data."
                                  (= (car size) 30)
                                  (= (cdr size) 30))))
                   ;; Good image, add it!
-                  (let ((image (gnus-rescale-image
-                                image
-                                (let ((edges (gnus-window-inside-pixel-edges
-                                              (get-buffer-window (current-buffer)))))
-                                  ;; (width . height)
-                                  (cons
-                                   ;; Aimed width
-                                   (truncate
-                                    (* gnus-max-image-proportion
-                                       (- (nth 2 edges) (nth 0 edges))))
-                                   ;; Aimed height
-                                   (truncate (* gnus-max-image-proportion
-                                                (- (nth 3 edges) (nth 1 edges)))))))))
+                  (let ((image (gnus-rescale-image image (gnus-html-maximum-image-size))))
                     (delete-region start end)
                     (gnus-put-image image alt-text 'external)
-                    (gnus-put-text-property start (point) 'help-echo alt-text)
-                    (gnus-overlay-put
-                    (gnus-make-overlay start (point)) 'local-map
-                    gnus-html-displayed-image-map)
+                   (widget-convert-button
+                    'url-link start (point)
+                    :help-echo alt-text
+                    :keymap gnus-html-displayed-image-map
+                    url)
                     (gnus-put-text-property start (point)
                                            'gnus-alt-text alt-text)
                     (when url
-                      (gnus-put-text-property start (point)
-                                             'gnus-image-url url))
+                     (gnus-add-text-properties
+                      start (point)
+                      `(image-url
+                        ,url
+                        image-displayer
+                        (lambda (url start end)
+                          (gnus-html-display-image url start end
+                                                   ,alt-text)))))
                     (gnus-add-image 'external image)
                     t)
                 ;; Bad image, try to show something else
@@ -480,25 +520,19 @@ Return a string with image data."
                     url blocked-images))
     ret))
 
-(defun gnus-html-show-images ()
-  "Show any images that are in the HTML-rendered article buffer.
-This only works if the article in question is HTML."
-  (interactive)
-  (gnus-with-article-buffer
-    (dolist (overlay (overlays-in (point-min) (point-max)))
-      (let ((o (overlay-get overlay 'gnus-image)))
-        (when o
-          (apply 'gnus-html-display-image o))))))
-
 ;;;###autoload
 (defun gnus-html-prefetch-images (summary)
   (when (buffer-live-p summary)
-    (let ((blocked-images (with-current-buffer summary
-                            gnus-blocked-images)))
+    (let (inhibit-images blocked-images)
+      (with-current-buffer summary
+       (setq inhibit-images gnus-inhibit-images
+             blocked-images (gnus-blocked-images)))
       (save-match-data
-       (while (re-search-forward "<img[^>]+src=[\"']\\([^\"']+\\)" nil t)
-         (let ((url (gnus-html-encode-url (match-string 1))))
-           (unless (gnus-html-image-url-blocked-p url blocked-images)
+       (while (re-search-forward "<img[^>]+src=[\"']\\(http[^\"']+\\)" nil t)
+         (let ((url (gnus-html-encode-url
+                     (mm-url-decode-entities-string (match-string 1)))))
+           (unless (or inhibit-images
+                       (gnus-html-image-url-blocked-p url blocked-images))
               (when (gnus-html-cache-expired url gnus-html-image-cache-ttl)
                 (gnus-html-schedule-image-fetching nil
                                                    (list url))))))))))