Java веб-скребок

Question

Какая библиотека лучше всего подходит для веб-скребка Java? Я знаю следующие варианты:

1. Селен
2. HtmlUnit
3. Lobo browser

Мне нужно выбрать один вариант, чтобы построить скребок для одного масштабируемого проекта.

Answer 1

Мне недавно порекомендовали Web Harvest , и я подумал, что он хорошо работает "из коробки", за исключением некоторых проблем, связанных с кодами ответов HTTP 500 ...

Answer 2

Если вы соскребаете, зачем вам браузер? Простые вызовы cURL на страницу и получение ответа дадут вам то, что вам нужно для очистки.

Это поможет с масштабируемостью. Если вы хотите использовать браузер, выберите HTMLUnit, так как это снова поможет с масштабируемостью.

Answer 3

Используйте jsoup , это прекрасно работает, чтобы получить ответ от URL, а затем использовать выражение XPath для анализа данных из ответа. Я реализовал это, и он прекрасно работает.