Как сканировать всю Википедию?

Question

Я пробовал приложение WebSphinx.

Я понимаю, что если я добавлю wikipedia.org в качестве начального URL, он больше не будет сканироваться.

Следовательно, как на самом деле сканировать всю Википедию? Кто-нибудь может дать мне несколько рекомендаций? Нужно ли мне специально искать эти URL-адреса и указывать несколько начальных URL-адресов?

У кого-нибудь есть предложения по созданию хорошего веб-сайта с руководством по использованию API WebSphinx?

Answer 1

Если ваша цель состоит в том, чтобы сканировать всю Википедию, вы можете посмотреть доступные дампы базы данных. Смотри http://download.wikimedia.org/.

Answer 2

Я не уверен, но, возможно, UserAgent от WEbSphinx заблокирован robots.txt из Википедии

http://en.wikipedia.org/robots.txt

Answer 3

Я думаю, вы не могли выбрать для этого необходимую конфигурацию. Переключитесь на расширенный, сканируйте поддомен, не ограничивайте размер страницы и время.

Тем не менее, WebSphinx , вероятно, не может сканировать целое Википедия , оно замедляется при увеличении объема данных и в конечном итоге останавливается около 200 МБ памяти. Я рекомендую вам Nutch , Heritrix и Crawler4j .

Answer 4

Взгляните на dbpedia , структурированную версию Википедии.

Answer 5

В дополнение к упомянутому выше дампу базы данных Википедии вы можете использовать API Википедии для выполнения запросов, таких как получение 100 случайных статей.

http://www.mediawiki.org/wiki/API:Query_-Lists#random.2F_rn

Answer 6

Возможно, вам нужно начать со случайной статьи, а затем отсканировать все статьи, к которым вы можете обратиться из этой начальной. Когда это дерево поиска будет исчерпано, начните с новой случайной статьи. Вы можете заполнить свои поиски терминами, которые, по вашему мнению, приведут к большинству статей, или начать с избранной статьи на первой странице.

Еще один вопрос: почему WebSphinx не ползет дальше? Википедия блокирует ботов, которые идентифицируются как «WebSphinx»?