Ползучая википедия

Question

Я просматриваю Википедию, используя загрузчик веб-сайтов для Windows, я просматривал все параметры этого инструмента, чтобы найти возможность загружать страницы Википедии за определенный период, например, с 2005 по настоящее время.

Кто-нибудь знает о сканировании веб-сайта в определенный период времени?

Answer 1

Почему бы не загрузить базу данных SQL, содержащую всю Википедию ?

Затем вы можете запросить его, используя SQL .

Answer 2

Попробуйте API Википедии и свои навыки программирования.

Answer 3

Там не должно быть необходимости делать очистку веб-страниц; используйте MediaWiki API для прямого запроса необходимой информации. Я не уверен, что вы подразумеваете под "страницами Википедии за определенный период" - вы имеете в виду последний раз редактировалось в определенное время? Если так, то во время скимминга я заметил вызов API, который позволяет взглянуть на последние n ревизии; просто спросите о последней ревизии и посмотрите, какая у нее дата.

Answer 4

Зависит от того, предлагает ли данный веб-сайт архив, и в большинстве случаев это не так, что простым способом сканирования образца, начатого с определенной даты, невозможно. Но вы можете реализовать в своем сканере некоторую информацию, чтобы прочитать дату создания страницы или что-то в этом роде.

Но вы также можете посмотреть API Википедии на http://en.wikipedia.org/w/api.php