требуется помощь в поиске в Интернете - PullRequest
4 голосов
/ 21 февраля 2010

привет, я заканчиваю небольшой хобби-проект по созданию небольшой поисковой системы.

Мне было интересно, кто-нибудь знает о приличном надежном сканере с открытым исходным кодом, который они использовали? для новичка должно быть легко установить и использовать.

спасибо за то, что вы не гуглите веб-сканеры и не вставляете список.

Ответы [ 2 ]

2 голосов
/ 21 февраля 2010

crawler4j - довольно приличный сканер, многопоточный, простой в настройке и использовании. Написано на Java.

Вы можете найти список сканеров с открытым исходным кодом на этой странице википедии .

0 голосов
/ 12 мая 2012

Я думаю, вы должны прочитать подобный опыт.

http://infolab.stanford.edu/~backrub/google.html

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...