Java одновременная рекурсивная загрузка сайта

Question

Мне нужна программа для загрузки веб-страниц, то есть я даю веб-страницу программному обеспечению, и она будет загружать все файлы на сайте.

Я бы также прошел уровень глубины, то есть уровень, на котором программа загружает каждый файл веб-сайта.

Я буду разрабатывать это программное обеспечение на Java, и мне нужно также использовать параллелизм.

Пожалуйста, скажите мне свое мнение о том, как это сделать.

Спасибо за помощь.

---

Спасибо всем за помощь.

Мне нужно спросить еще одну вещь. Как мне сделать, чтобы загрузить файл с сайта?

Так еще раз. = D

Answer 1

Очень полезная библиотека для пауков и ботов: htmlunit

Answer 2

Я бы посмотрел на эти ресурсы:

http://hc.apache.org/httpclient-3.x/

http://java.sun.com/javase/6/docs/api/java/util/concurrent/package-summary.html

http://java.sun.com/javase/6/docs/api/java/util/concurrent/locks/package-summary.html

Answer 3

Я бы посмотрел на Java Executors пакет. Вы создаете набор задач ( Runnable s) и передаете их подходящему выбранному исполнителю. Вы получаете Future назад и можете запросить его результат.

Исполнитель будет координировать выполнение этого Runnable. Реализации существуют для однопоточных исполнителей, исполнителей с пулом потоков и т. Д. Поэтому вам не нужно беспокоиться (слишком много) по поводу. тончайшие тонкости. Утилиты параллелизма позаботятся об этом за вас.

Apache HTTP Client позаботится о том, чтобы HTTP-запрос выполнялся за вас.

Answer 4

Ну, на это немного сложно ответить, не зная, насколько подробное руководство вам нужно, но вот обзор. :)

Java делает такие приложения довольно простыми, поскольку и HTTP-запросы, и многопоточность легко доступны. Мое решение, вероятно, будет включать глобальный стек, содержащий новые URL-адреса, и ферму с постоянным количеством потоков, которые извлекают URL-адреса из стека. Я бы сохранял URL-адреса как пользовательский объект, чтобы я мог отслеживать глубину.

Я думаю, что ваша главная проблема здесь будет с сайтами, которые не отвечают или не следуют стандарту HTTP. Я много раз замечал в похожих приложениях, что иногда они не работают должным образом, и в итоге они блокируют все потоки. К сожалению, у меня нет хороших решений здесь.

Несколько полезных классов в качестве отправной точки:
http://java.sun.com/javase/6/docs/api/java/lang/Thread.html
http://java.sun.com/javase/6/docs/api/java/lang/ThreadGroup.html
http://java.sun.com/javase/6/docs/api/java/net/URL.html
http://java.sun.com/javase/6/docs/api/java/net/HttpURLConnection.html