Использование Java для извлечения данных с веб-страницы?

Question

Я пытаюсь сделать свою первую программу на Java.Цель состоит в том, чтобы написать программу, которая просматривает веб-сайт и загружает файл для меня.Однако я не знаю, как использовать Java для взаимодействия с Интернетом.Может кто-нибудь сказать мне, какие темы искать / прочитать или порекомендовать хорошие ресурсы?

Answer 1

Самое простое решение (не зависящее от какой-либо сторонней библиотеки или платформы) - создать экземпляр URL-адреса, указывающий на веб-страницу / ссылку, которую вы хотите загрузить, и прочитать содержимое с использованием потоков.

Дляпример:

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.URL;
import java.net.URLConnection;


public class DownloadPage {

    public static void main(String[] args) throws IOException {

        // Make a URL to the web page
        URL url = new URL("/6673251/ispolzovanie-java-dlya-izvlecheniya-dannyh-s-veb-stranitsy");

        // Get the input stream through URL Connection
        URLConnection con = url.openConnection();
        InputStream is =con.getInputStream();

        // Once you have the Input Stream, it's just plain old Java IO stuff.

        // For this case, since you are interested in getting plain-text web page
        // I'll use a reader and output the text content to System.out.

        // For binary content, it's better to directly read the bytes from stream and write
        // to the target file.


        BufferedReader br = new BufferedReader(new InputStreamReader(is));

        String line = null;

        // read each line and write to System.out
        while ((line = br.readLine()) != null) {
            System.out.println(line);
        }
    }
}

Надеюсь, это поможет.

Answer 2

Основы

Посмотрите на это, чтобы создать решение более или менее с нуля:

• Начните с основ: Учебное пособие по Java глава по работе в сети , включая Работа с URL
• Упростите для себя задачу: Компоненты Apache Http (включая HttpClient)

Легко склеенный и зашитый материал

У вас всегда есть возможность вызова внешних инструментов из Java с использованием exec() и аналогичных методов. Например, вы можете использовать wget или cURL.

Hardcore Stuff

Тогда, если вы хотите заняться более полноценными вещами, к счастью, необходимость в автоматическом веб-тестировании предоставила нам очень практичные инструменты для этого. Посмотрите на:

• HtmlUnit (мощный и простой)
• Селен , Селен-RC
• WebDriver / Selenium2 (все еще в работе)
• JBehave с JBehave Web

Некоторые другие библиотеки написаны специально для веб-страниц:

• JSoup
• Jaunt

Некоторые обходные пути

Java - это язык, но также и платформа, на которой работают многие другие языки. Некоторые из них включают большой синтаксический сахар или библиотеки, чтобы легко создавать скребки.

Выезд:

• Groovy (и XmlSlurper )
• или Scala (с отличной поддержкой XML, как представлено здесь и здесь )

Если вам известна отличная библиотека для Ruby ( JRuby , со статьей по соскобам с JRuby и HtmlUnit ) или Python ( Jython ) или вы предпочитаете эти языки, затем дайте шанс их портам JVM.

Некоторые добавки

Некоторые другие похожие вопросы:

• Очистка данных из HTML с использованием Java
• Параметры для очистки HTML

Answer 3

Вот мое решение, использующее фразы URL и try with resources для перехвата исключений.

/**
 * Created by mona on 5/27/16.
 */
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.MalformedURLException;
import java.net.URL;
public class ReadFromWeb {
    public static void readFromWeb(String webURL) throws IOException {
        URL url = new URL(webURL);
        InputStream is =  url.openStream();
        try( BufferedReader br = new BufferedReader(new InputStreamReader(is))) {
            String line;
            while ((line = br.readLine()) != null) {
                System.out.println(line);
            }
        }
        catch (MalformedURLException e) {
            e.printStackTrace();
            throw new MalformedURLException("URL is malformed!!");
        }
        catch (IOException e) {
            e.printStackTrace();
            throw new IOException();
        }

    }
    public static void main(String[] args) throws IOException {
        String url = "https://madison.craigslist.org/search/sub";
        readFromWeb(url);
    }

}

Вы можете дополнительно сохранить его в файл в соответствии с вашими потребностями или проанализировать его с помощью XML или * 1007.* библиотеки.