Конвертировать HTML в обычный текст на Java

Question

Мне нужно конвертировать HTML в обычный текст. Мое единственное требование к форматированию - сохранить новые строки в простом тексте. Новые строки должны отображаться не только в случае <br>, но и в других тегах, например <tr/>, </p> также приводит к новой строке.

Примеры HTML-страниц для тестирования:

• http://www.particle.kth.se/~lindsey/JavaCourse/Book/Part1/Java/Chapter09/scannerConsole.html
• http://www.javadb.com/write-to-file-using-bufferedwriter

Обратите внимание, что это только случайные URL.

Я опробовал различные библиотеки (JSoup, Javax.swing, Apache utils), упомянутые в ответах на этот вопрос StackOverflow для преобразования HTML в простой текст.

Пример использования JSoup:

public class JSoupTest {

 @Test
 public void SimpleParse() {
  try {
   Document doc = Jsoup.connect("http://www.particle.kth.se/~lindsey/JavaCourse/Book/Part1/Java/Chapter09/scannerConsole.html").get();
   System.out.print(doc.text());

  } catch (IOException e) {
   // TODO Auto-generated catch block
   e.printStackTrace();
  }
 }
}

Пример с HTMLEditorKit:

import javax.swing.text.html.*;
import javax.swing.text.html.parser.*;

public class Html2Text extends HTMLEditorKit.ParserCallback {
 StringBuffer s;

 public Html2Text() {}

 public void parse(Reader in) throws IOException {
   s = new StringBuffer();
   ParserDelegator delegator = new ParserDelegator();
   // the third parameter is TRUE to ignore charset directive
   delegator.parse(in, this, Boolean.TRUE);
 }

 public void handleText(char[] text, int pos) {
   s.append(text);
 }

 public String getText() {
   return s.toString();
 }

 public static void main (String[] args) {
   try {
     // the HTML to convert
    URL  url = new URL("http://www.javadb.com/write-to-file-using-bufferedwriter");
    URLConnection conn = url.openConnection();
    BufferedReader reader = new BufferedReader(new InputStreamReader(url.openStream()));
    String inputLine;
    String finalContents = "";
    while ((inputLine = reader.readLine()) != null) {
     finalContents += "\n" + inputLine.replace("<br", "\n<br");
    }
    BufferedWriter writer = new BufferedWriter(new FileWriter("samples/testHtml.html"));
    writer.write(finalContents);
    writer.close();

     FileReader in = new FileReader("samples/testHtml.html");
     Html2Text parser = new Html2Text();
     parser.parse(in);
     in.close();
     System.out.println(parser.getText());
   }
   catch (Exception e) {
     e.printStackTrace();
   }
 }
}

Answer 1

Сделайте так, чтобы ваш парсер добавил текстовое содержимое и символы новой строки в StringBuilder.

final StringBuilder sb = new StringBuilder();
HTMLEditorKit.ParserCallback parserCallback = new HTMLEditorKit.ParserCallback() {
    public boolean readyForNewline;

    @Override
    public void handleText(final char[] data, final int pos) {
        String s = new String(data);
        sb.append(s.trim());
        readyForNewline = true;
    }

    @Override
    public void handleStartTag(final HTML.Tag t, final MutableAttributeSet a, final int pos) {
        if (readyForNewline && (t == HTML.Tag.DIV || t == HTML.Tag.BR || t == HTML.Tag.P)) {
            sb.append("\n");
            readyForNewline = false;
        }
    }

    @Override
    public void handleSimpleTag(final HTML.Tag t, final MutableAttributeSet a, final int pos) {
        handleStartTag(t, a, pos);
    }
};
new ParserDelegator().parse(new StringReader(html), parserCallback, false);

Answer 2

Опираясь на ваш пример, с подсказкой от html к обычному тексту? message:

<code>import java.io.*;

import org.jsoup.*;
import org.jsoup.nodes.*;

public class TestJsoup
{
  public void SimpleParse()
  {
    try
    {
      Document doc = Jsoup.connect("http://www.particle.kth.se/~lindsey/JavaCourse/Book/Part1/Java/Chapter09/scannerConsole.html").get();
      // Trick for better formatting
      doc.body().wrap("<pre>

"); String text = doc.text (); // Преобразование nbsp сущностей text =text.replaceAll ("\ u00A0", ""); System.out.print (text);} catch (IOException e) {e.printStackTrace ();}} общедоступная статическая void main (String args []) {TestJsoup tjs= новый TestJsoup (); tjs.SimpleParse ();}}

Answer 3

Полагаю, вы можете использовать ParserCallback.

Вам потребуется добавить код для поддержки тегов, которые требуют специальной обработки.Существует:

1. handleStartTag
2. handleEndTag
3. handleSimpleTag

обратные вызовы, которые должны позволить вам проверять теги, которые вы хотите отслеживатьи затем добавьте символ новой строки в ваш буфер.

Answer 4

Я бы использовал SAX .Если ваш документ не является правильно сформированным XHTML, я бы преобразовал его с помощью JTidy .

Answer 5

Вы можете использовать XSLT для этой цели.Взгляните на эту ссылку , которая решает похожую проблему.

Надеюсь, что это полезно.

Answer 6

JSoup не совместим с FreeMarker (или любым другим тегом клиента / без HTML).Считайте это самым чистым решением для преобразования HTML в простой текст.

/1004314/java-biblioteka-s-otkrytym-ishodnym-kodom-dlya-preobrazovaniya-html-v-tekst#1004324 Мой код:

return new net.htmlparser.jericho.Source(html).getRenderer().setMaxLineLength(Integer.MAX_VALUE).setNewLine(null).toString();