Извлечение некоторого содержимого из URL с использованием регулярных выражений в Java

Question

Я хочу извлечь содержимое из этого URL http://www.xyz.com/default.aspx, и это содержимое ниже, которое я хочу извлечь с помощью регулярного выражения.

String expr = "
What Regular Expression should I use here    
"; 

Pattern patt = Pattern.compile(expr, Pattern.DOTALL | Pattern.UNIX_LINES);
URL url4 = null;

try {
    url4 = new URL("http://www.xyz.com/default.aspx");                  
} catch (MalformedURLException e) {
    // TODO Auto-generated catch block
    e.printStackTrace();
}
System.out.println("Text" +url4);
Matcher m = null;
try {
    m = patt.matcher(getURLContent(url4));
} catch (IOException e) {
    // TODO Auto-generated catch block
    e.printStackTrace();
}
System.out.println("Match" +m);

while (m.find()) {
    String stateURL = m.group(1);
    System.out.println("Some Data" +stateURL);
}

public static CharSequence getURLContent(URL url8) throws IOException {
          URLConnection conn = url8.openConnection();
          String encoding = conn.getContentEncoding();
          if (encoding == null) {
            encoding = "ISO-8859-1";
          }
          BufferedReader br = new BufferedReader(new
              InputStreamReader(conn.getInputStream(), encoding));
          StringBuilder sb = new StringBuilder(16384);
          try {
            String line;
            while ((line = br.readLine()) != null) {
              sb.append(line);
              System.out.println(line);
              sb.append('\n');
            }
          } finally {
            br.close();
          }
          return sb;
        }

Answer 1

Как уже упоминал @ bkent314, jsoup - это лучший и более чистый подход, чем использование регулярных выражений.

Если вы проверяете исходный код этого веб-сайта, вам, по сути, нужен контент из этого фрагмента: -

<div class="smallHd_contentTd">
    <div class="breadcrumb">...</div>
    <h2>Services</h2>
    <p>...</p>
    <p>...</p>
    <p>...</p>
</div>

С помощью jsoup ваш код может выглядеть примерно так: -

Document doc = Jsoup.connect("http://www.ferotech.com/Services/default.aspx").get();

Element content = doc.select("div.smallHd_contentTd").first();

String header = content.select("h2").first().text();

System.out.println(header);

for (Element pTag : content.select("p")) {
    System.out.println(pTag.text());
}

Надеюсь, это поможет.