(shr-insert): Rework the line-breaking algorithm.
[gnus] / lisp / shr.el
index 9318740..6124ff7 100644 (file)
@@ -57,13 +57,18 @@ fit these criteria."
 This is used for cid: URLs, and the function is called with the
 cid: URL as the argument.")
 
+(defvar shr-width 70
+  "Frame width to use for rendering.")
+
+;;; Internal variables.
+
 (defvar shr-folding-mode nil)
 (defvar shr-state nil)
 (defvar shr-start nil)
 (defvar shr-indentation 0)
 (defvar shr-inhibit-images nil)
-
-(defvar shr-width 70)
+(defvar shr-list-mode nil)
+(defvar shr-content-cache nil)
 
 (defvar shr-map
   (let ((map (make-sparse-keymap)))
@@ -75,6 +80,76 @@ cid: URL as the argument.")
     (define-key map "\r" 'shr-browse-url)
     map))
 
+;; Public functions and commands.
+
+;;;###autoload
+(defun shr-insert-document (dom)
+  (setq shr-content-cache nil)
+  (let ((shr-state nil)
+       (shr-start nil))
+    (shr-descend (shr-transform-dom dom))))
+
+(defun shr-copy-url ()
+  "Copy the URL under point to the kill ring.
+If called twice, then try to fetch the URL and see whether it
+redirects somewhere else."
+  (interactive)
+  (let ((url (get-text-property (point) 'shr-url)))
+    (cond
+     ((not url)
+      (message "No URL under point"))
+     ;; Resolve redirected URLs.
+     ((equal url (car kill-ring))
+      (url-retrieve
+       url
+       (lambda (a)
+        (when (and (consp a)
+                   (eq (car a) :redirect))
+          (with-temp-buffer
+            (insert (cadr a))
+            (goto-char (point-min))
+            ;; Remove common tracking junk from the URL.
+            (when (re-search-forward ".utm_.*" nil t)
+              (replace-match "" t t))
+            (message "Copied %s" (buffer-string))
+            (copy-region-as-kill (point-min) (point-max)))))))
+     ;; Copy the URL to the kill ring.
+     (t
+      (with-temp-buffer
+       (insert url)
+       (copy-region-as-kill (point-min) (point-max))
+       (message "Copied %s" url))))))
+
+(defun shr-show-alt-text ()
+  "Show the ALT text of the image under point."
+  (interactive)
+  (let ((text (get-text-property (point) 'shr-alt)))
+    (if (not text)
+       (message "No image under point")
+      (message "%s" text))))
+
+(defun shr-browse-image ()
+  "Browse the image under point."
+  (interactive)
+  (let ((url (get-text-property (point) 'shr-image)))
+    (if (not url)
+       (message "No image under point")
+      (message "Browsing %s..." url)
+      (browse-url url))))
+
+(defun shr-insert-image ()
+  "Insert the image under point into the buffer."
+  (interactive)
+  (let ((url (get-text-property (point) 'shr-image)))
+    (if (not url)
+       (message "No image under point")
+      (message "Inserting %s..." url)
+      (url-retrieve url 'shr-image-fetched
+                   (list (current-buffer) (1- (point)) (point-marker))
+                   t))))
+
+;;; Utility functions.
+
 (defun shr-transform-dom (dom)
   (let ((result (list (pop dom))))
     (dolist (arg (pop dom))
@@ -87,12 +162,6 @@ cid: URL as the argument.")
        (push (shr-transform-dom sub) result)))
     (nreverse result)))
 
-;;;###autoload
-(defun shr-insert-document (dom)
-  (let ((shr-state nil)
-       (shr-start nil))
-    (shr-descend (shr-transform-dom dom))))
-
 (defun shr-descend (dom)
   (let ((function (intern (concat "shr-tag-" (symbol-name (car dom))) obarray)))
     (if (fboundp function)
@@ -107,10 +176,43 @@ cid: URL as the argument.")
      ((listp (cdr sub))
       (shr-descend sub)))))
 
-(defun shr-tag-p (cont)
-  (shr-ensure-paragraph)
-  (shr-generic cont)
-  (shr-ensure-paragraph))
+(defun shr-insert (text)
+  (when (eq shr-state 'image)
+    (insert "\n")
+    (setq shr-state nil))
+  (cond
+   ((eq shr-folding-mode 'none)
+    (insert text))
+   (t
+    (let ((first t)
+         column)
+      (when (and (string-match "\\`[ \t\n]" text)
+                (not (bolp)))
+       (insert " "))
+      (dolist (elem (split-string text))
+       (when (and (bolp)
+                  (> shr-indentation 0))
+         (shr-indent))
+       ;; The shr-start is a special variable that is used to pass
+       ;; upwards the first point in the buffer where the text really
+       ;; starts.
+       (unless shr-start
+         (setq shr-start (point)))
+       (insert elem)
+       (when (> (current-column) shr-width)
+         (if (not (search-backward " " (line-beginning-position) t))
+             (insert "\n")
+           (delete-char 1)
+           (insert "\n")
+           (put-text-property (1- (point)) (point) 'shr-break t)
+           (when (> shr-indentation 0)
+             (shr-indent))
+           (end-of-line)))
+       (insert " "))))))
+
+(defun shr-ensure-newline ()
+  (unless (zerop (current-column))
+    (insert "\n")))
 
 (defun shr-ensure-paragraph ()
   (unless (bobp)
@@ -125,20 +227,8 @@ cid: URL as the argument.")
          (insert "\n")
        (insert "\n\n")))))
 
-(defun shr-tag-b (cont)
-  (shr-fontize-cont cont 'bold))
-
-(defun shr-tag-i (cont)
-  (shr-fontize-cont cont 'italic))
-
-(defun shr-tag-em (cont)
-  (shr-fontize-cont cont 'bold))
-
-(defun shr-tag-u (cont)
-  (shr-fontize-cont cont 'underline))
-
-(defun shr-tag-s (cont)
-  (shr-fontize-cont cont 'strike-through))
+(defun shr-indent ()
+  (insert (make-string shr-indentation ? )))
 
 (defun shr-fontize-cont (cont &rest types)
   (let (shr-start)
@@ -150,17 +240,6 @@ cid: URL as the argument.")
   (let ((overlay (make-overlay start end)))
     (overlay-put overlay 'face type)))
 
-(defun shr-tag-a (cont)
-  (let ((url (cdr (assq :href cont)))
-       (start (point))
-       shr-start)
-    (shr-generic cont)
-    (widget-convert-button
-     'link (or shr-start start) (point)
-     :help-echo url)
-    (put-text-property (or shr-start start) (point) 'keymap shr-map)
-    (put-text-property (or shr-start start) (point) 'shr-url url)))
-
 (defun shr-browse-url ()
   "Browse the URL under point."
   (interactive)
@@ -169,90 +248,6 @@ cid: URL as the argument.")
        (message "No link under point")
       (browse-url url))))
 
-(defun shr-copy-url ()
-  "Copy the URL under point to the kill ring.
-If called twice, then try to fetch the URL and see whether it
-redirects somewhere else."
-  (interactive)
-  (let ((url (get-text-property (point) 'shr-url)))
-    (cond
-     ((not url)
-      (message "No URL under point"))
-     ;; Resolve redirected URLs.
-     ((equal url (car kill-ring))
-      (url-retrieve
-       url
-       (lambda (a)
-        (when (and (consp a)
-                   (eq (car a) :redirect))
-          (with-temp-buffer
-            (insert (cadr a))
-            (goto-char (point-min))
-            ;; Remove common tracking junk from the URL.
-            (when (re-search-forward ".utm_.*" nil t)
-              (replace-match "" t t))
-            (message "Copied %s" (buffer-string))
-            (copy-region-as-kill (point-min) (point-max)))))))
-     ;; Copy the URL to the kill ring.
-     (t
-      (with-temp-buffer
-       (insert url)
-       (copy-region-as-kill (point-min) (point-max))
-       (message "Copied %s" url))))))
-
-(defun shr-tag-img (cont)
-  (when (and (> (current-column) 0)
-            (not (eq shr-state 'image)))
-    (insert "\n"))
-  (let ((start (point-marker)))
-    (let ((alt (cdr (assq :alt cont)))
-         (url (cdr (assq :src cont))))
-      (when (zerop (length alt))
-       (setq alt "[img]"))
-      (cond
-       ((and (not shr-inhibit-images)
-            (string-match "\\`cid:" url))
-       (let ((url (substring url (match-end 0)))
-             image)
-         (if (or (not shr-content-function)
-                 (not (setq image (funcall shr-content-function url))))
-             (insert alt)
-           (shr-put-image image (point) alt))))
-       ((or shr-inhibit-images
-           (and shr-blocked-images
-                (string-match shr-blocked-images url)))
-       (setq shr-start (point))
-       (insert alt))
-       ((url-is-cached (browse-url-url-encode-chars url "[&)$ ]"))
-       (shr-put-image (shr-get-image-data url) (point) alt))
-       (t
-       (insert alt)
-       (url-retrieve url 'shr-image-fetched
-                     (list (current-buffer) start (point-marker))
-                     t)))
-      (insert " ")
-      (put-text-property start (point) 'keymap shr-map)
-      (put-text-property start (point) 'shr-alt alt)
-      (put-text-property start (point) 'shr-image url)
-      (setq shr-state 'image))))
-
-(defun shr-show-alt-text ()
-  "Show the ALT text of the image under point."
-  (interactive)
-  (let ((text (get-text-property (point) 'shr-alt)))
-    (if (not text)
-       (message "No image under point")
-      (message "%s" text))))
-
-(defun shr-browse-image ()
-  "Browse the image under point."
-  (interactive)
-  (let ((url (get-text-property (point) 'shr-image)))
-    (if (not url)
-       (message "No image under point")
-      (message "Browsing %s..." url)
-      (browse-url url))))
-
 (defun shr-image-fetched (status buffer start end)
   (when (and (buffer-name buffer)
             (not (plist-get status :error)))
@@ -302,64 +297,6 @@ redirects somewhere else."
                     image)))
       image)))
 
-(defun shr-tag-pre (cont)
-  (let ((shr-folding-mode 'none))
-    (shr-ensure-newline)
-    (shr-generic cont)
-    (shr-ensure-newline)))
-
-(defun shr-tag-blockquote (cont)
-  (shr-ensure-paragraph)
-  (let ((shr-indentation (+ shr-indentation 4)))
-    (shr-generic cont))
-  (shr-ensure-paragraph))
-
-(defun shr-ensure-newline ()
-  (unless (zerop (current-column))
-    (insert "\n")))
-
-(defun shr-insert (text)
-  (when (eq shr-state 'image)
-    (insert "\n")
-    (setq shr-state nil))
-  (cond
-   ((eq shr-folding-mode 'none)
-    (insert text))
-   (t
-    (let ((first t)
-         column)
-      (when (and (string-match "\\`[ \t\n]" text)
-                (not (bolp)))
-       (insert " "))
-      (dolist (elem (split-string text))
-       (setq column (current-column))
-       (when (> column 0)
-         (cond
-          ((and (or (not first)
-                    (eq shr-state 'space))
-                (> (+ column (length elem) 1) shr-width))
-           (insert "\n"))
-          ((not first)
-           (insert " "))))
-       (setq first nil)
-       (when (and (bolp)
-                  (> shr-indentation 0))
-         (shr-indent))
-       ;; The shr-start is a special variable that is used to pass
-       ;; upwards the first point in the buffer where the text really
-       ;; starts.
-       (unless shr-start
-         (setq shr-start (point)))
-       (insert elem))
-      (setq shr-state nil)
-      (when (and (string-match "[ \t\n]\\'" text)
-                (not (bolp)))
-       (insert " ")
-       (setq shr-state 'space))))))
-
-(defun shr-indent ()
-  (insert (make-string shr-indentation ? )))
-
 (defun shr-get-image-data (url)
   "Get image data for URL.
 Return a string with image data."
@@ -372,7 +309,95 @@ Return a string with image data."
                (search-forward "\r\n\r\n" nil t))
        (buffer-substring (point) (point-max))))))
 
-(defvar shr-list-mode nil)
+(defun shr-heading (cont &rest types)
+  (shr-ensure-paragraph)
+  (apply #'shr-fontize-cont cont types)
+  (shr-ensure-paragraph))
+
+;;; Tag-specific rendering rules.
+
+(defun shr-tag-p (cont)
+  (shr-ensure-paragraph)
+  (shr-generic cont)
+  (shr-ensure-paragraph))
+
+(defun shr-tag-b (cont)
+  (shr-fontize-cont cont 'bold))
+
+(defun shr-tag-i (cont)
+  (shr-fontize-cont cont 'italic))
+
+(defun shr-tag-em (cont)
+  (shr-fontize-cont cont 'bold))
+
+(defun shr-tag-u (cont)
+  (shr-fontize-cont cont 'underline))
+
+(defun shr-tag-s (cont)
+  (shr-fontize-cont cont 'strike-through))
+
+(defun shr-tag-a (cont)
+  (let ((url (cdr (assq :href cont)))
+       (start (point))
+       shr-start)
+    (shr-generic cont)
+    (widget-convert-button
+     'link (or shr-start start) (point)
+     :help-echo url)
+    (put-text-property (or shr-start start) (point) 'keymap shr-map)
+    (put-text-property (or shr-start start) (point) 'shr-url url)))
+
+(defun shr-tag-img (cont)
+  (when (and (> (current-column) 0)
+            (not (eq shr-state 'image)))
+    (insert "\n"))
+  (let ((start (point-marker)))
+    (let ((alt (cdr (assq :alt cont)))
+         (url (cdr (assq :src cont))))
+      (when (zerop (length alt))
+       (setq alt "[img]"))
+      (cond
+       ((and (not shr-inhibit-images)
+            (string-match "\\`cid:" url))
+       (let ((url (substring url (match-end 0)))
+             image)
+         (if (or (not shr-content-function)
+                 (not (setq image (funcall shr-content-function url))))
+             (insert alt)
+           (shr-put-image image (point) alt))))
+       ((or shr-inhibit-images
+           (and shr-blocked-images
+                (string-match shr-blocked-images url)))
+       (setq shr-start (point))
+       (let ((shr-state 'space))
+         (if (> (length alt) 8)
+             (shr-insert (substring alt 0 8))
+           (shr-insert alt))))
+       ((url-is-cached (browse-url-url-encode-chars url "[&)$ ]"))
+       (shr-put-image (shr-get-image-data url) (point) alt))
+       (t
+       (insert alt)
+       (ignore-errors
+         (url-retrieve url 'shr-image-fetched
+                       (list (current-buffer) start (point-marker))
+                       t))))
+      (insert " ")
+      (put-text-property start (point) 'keymap shr-map)
+      (put-text-property start (point) 'shr-alt alt)
+      (put-text-property start (point) 'shr-image url)
+      (setq shr-state 'image))))
+
+(defun shr-tag-pre (cont)
+  (let ((shr-folding-mode 'none))
+    (shr-ensure-newline)
+    (shr-generic cont)
+    (shr-ensure-newline)))
+
+(defun shr-tag-blockquote (cont)
+  (shr-ensure-paragraph)
+  (let ((shr-indentation (+ shr-indentation 4)))
+    (shr-generic cont))
+  (shr-ensure-paragraph))
 
 (defun shr-tag-ul (cont)
   (shr-ensure-paragraph)
@@ -418,21 +443,35 @@ Return a string with image data."
 (defun shr-tag-h6 (cont)
   (shr-heading cont))
 
-(defun shr-heading (cont &rest types)
-  (shr-ensure-paragraph)
-  (apply #'shr-fontize-cont cont types)
-  (shr-ensure-paragraph))
+;;; Table rendering algorithm.
 
+;; Table rendering is the only complicated thing here.  We do this by
+;; first counting how many TDs there are in each TR, and registering
+;; how wide they think they should be ("width=45%", etc).  Then we
+;; render each TD separately (this is done in temporary buffers, so
+;; that we can use all the rendering machinery as if we were in the
+;; main buffer).  Now we know how much space each TD really takes, so
+;; we then render everything again with the new widths, and finally
+;; insert all these boxes into the main buffer.
 (defun shr-tag-table (cont)
   (shr-ensure-paragraph)
   (setq cont (or (cdr (assq 'tbody cont))
                 cont))
   (let* ((shr-inhibit-images t)
+        ;; Find all suggested widths.
         (columns (shr-column-specs cont))
+        ;; Compute how many characters wide each TD should be.
         (suggested-widths (shr-pro-rate-columns columns))
+        ;; Do a "test rendering" to see how big each TD is (this can
+        ;; be smaller (if there's little text) or bigger (if there's
+        ;; unbreakable text).
         (sketch (shr-make-table cont suggested-widths))
-        (sketch-widths (shr-table-widths sketch (length suggested-widths))))
+        (sketch-widths (shr-table-widths sketch suggested-widths)))
+    ;; Then render the table again with these new "hard" widths.
     (shr-insert-table (shr-make-table cont sketch-widths t) sketch-widths))
+  ;; Finally, insert all the images after the table.  The Emacs buffer
+  ;; model isn't strong enough to allow us to put the images actually
+  ;; into the tables.
   (dolist (elem (shr-find-elements cont 'img))
     (shr-tag-img (cdr elem))))
 
@@ -458,7 +497,7 @@ Return a string with image data."
        (insert "|\n"))
       (dolist (column row)
        (goto-char start)
-       (let ((lines (split-string (nth 2 column) "\n"))
+       (let ((lines (nth 2 column))
              (overlay-lines (nth 3 column))
              overlay overlay-line)
          (dolist (line lines)
@@ -488,24 +527,47 @@ Return a string with image data."
     (insert (make-string (aref widths i) ?-) ?+))
   (insert "\n"))
 
-(defun shr-table-widths (table length)
-  (let ((widths (make-vector length 0)))
+(defun shr-table-widths (table suggested-widths)
+  (let* ((length (length suggested-widths))
+        (widths (make-vector length 0))
+        (natural-widths (make-vector length 0)))
     (dolist (row table)
       (let ((i 0))
        (dolist (column row)
          (aset widths i (max (aref widths i)
                              (car column)))
-         (incf i))))
+         (aset natural-widths i (max (aref natural-widths i)
+                                     (cadr column)))
+         (setq i (1+ i)))))
+    (let ((extra (- (reduce '+ suggested-widths)
+                   (reduce '+ widths)))
+         (expanded-columns 0))
+      (when (> extra 0)
+       (dotimes (i length)
+         ;; If the natural width is wider than the rendered width, we
+         ;; want to allow the column to expand.
+         (when (> (aref natural-widths i) (aref widths i))
+           (setq expanded-columns (1+ expanded-columns))))
+       (dotimes (i length)
+         (when (> (aref natural-widths i) (aref widths i))
+           (aset widths i (min
+                           (1+ (aref natural-widths i))
+                           (+ (/ extra expanded-columns)
+                              (aref widths i))))))))
     widths))
 
 (defun shr-make-table (cont widths &optional fill)
   (let ((trs nil))
     (dolist (row cont)
       (when (eq (car row) 'tr)
-       (let ((i 0)
-             (tds nil))
-         (dolist (column (cdr row))
-           (when (memq (car column) '(td th))
+       (let ((tds nil)
+             (columns (cdr row))
+             (i 0)
+             column)
+         (while (< i (length widths))
+           (setq column (pop columns))
+           (when (or (memq (car column) '(td th))
+                     (null column))
              (push (shr-render-td (cdr column) (aref widths i) fill)
                    tds)
              (setq i (1+ i))))
@@ -514,11 +576,18 @@ Return a string with image data."
 
 (defun shr-render-td (cont width fill)
   (with-temp-buffer
-    (let ((shr-width width)
-         (shr-indentation 0))
-      (shr-generic cont))
-    (while (re-search-backward "\n *$" nil t)
-      (delete-region (match-beginning 0) (match-end 0)))
+    (let ((cache (cdr (assoc (cons width cont) shr-content-cache))))
+      (if cache
+         (insert cache)
+       (let ((shr-width width)
+             (shr-indentation 0))
+         (shr-generic cont))
+       (delete-region
+        (point)
+        (+ (point)
+           (skip-chars-backward " \t\n")))
+       (push (cons (cons width cont) (buffer-string))
+             shr-content-cache)))
     (goto-char (point-min))
     (let ((max 0))
       (while (not (eobp))
@@ -527,16 +596,36 @@ Return a string with image data."
        (forward-line 1))
       (when fill
        (goto-char (point-min))
-       (while (not (eobp))
-         (end-of-line)
-         (when (> (- width (current-column)) 0)
-           (insert (make-string (- width (current-column)) ? )))
-         (forward-line 1)))
-      (list max
-           (count-lines (point-min) (point-max))
-           (buffer-string)
-           (and fill
-                (shr-collect-overlays))))))
+       ;; If the buffer is totally empty, then put a single blank
+       ;; line here.
+       (if (zerop (buffer-size))
+           (insert (make-string width ? ))
+         ;; Otherwise, fill the buffer.
+         (while (not (eobp))
+           (end-of-line)
+           (when (> (- width (current-column)) 0)
+             (insert (make-string (- width (current-column)) ? )))
+           (forward-line 1))))
+      (if fill
+         (list max
+               (count-lines (point-min) (point-max))
+               (split-string (buffer-string) "\n")
+               (shr-collect-overlays))
+       (list max
+             (shr-natural-width))))))
+
+(defun shr-natural-width ()
+  (goto-char (point-min))
+  (let ((current 0)
+       (max 0))
+    (while (not (eobp))
+      (end-of-line)
+      (setq current (+ current (current-column)))
+      (unless (get-text-property (point) 'shr-break)
+       (setq max (max max current)
+             current 0))
+      (forward-line 1))
+    max))
 
 (defun shr-collect-overlays ()
   (save-excursion
@@ -551,8 +640,12 @@ Return a string with image data."
 (defun shr-overlays-in-region (start end)
   (let (result)
     (dolist (overlay (overlays-in start end))
-      (push (list (max start (- end (overlay-start overlay)))
-                 (min end (- end (overlay-end overlay) start))
+      (push (list (if (> start (overlay-start overlay))
+                     (- end start)
+                   (- end (overlay-start overlay)))
+                 (if (< end (overlay-end overlay))
+                     0
+                   (- end (overlay-end overlay)))
                  (overlay-properties overlay))
            result))
     (nreverse result)))
@@ -561,12 +654,12 @@ Return a string with image data."
   (let ((total-percentage 0)
        (widths (make-vector (length columns) 0)))
     (dotimes (i (length columns))
-      (incf total-percentage (aref columns i)))
+      (setq total-percentage (+ total-percentage (aref columns i))))
     (setq total-percentage (/ 1.0 total-percentage))
     (dotimes (i (length columns))
       (aset widths i (max (truncate (* (aref columns i)
                                       total-percentage
-                                      shr-width))
+                                      (- shr-width (1+ (length columns)))))
                          10)))
     widths))