Очистить википедию "prop = linkshere" более эффективно? - PullRequest
0 голосов
/ 28 апреля 2020

Мой очищающий код работает, но кажется неэффективным: мне нужно отправить несколько миллиардов запросов «продолжить», чтобы получить все это. Вот начальный запрос:

https://en.m.wikipedia.org/w/api.php?action=query&prop=linkshere&format=json&maxlag=2&titles=Korn

, и я получаю номер продолжения, поэтому я следую:

https://en.m.wikipedia.org/w/api.php?action=query&prop=linkshere&format=json&maxlag=2&titles=Korn&lhcontinue=20653

снова и снова и снова до конца. Каждый запрос дает небольшое количество общих данных.

Я что-то упускаю, чтобы получить больше данных по каждому запросу? Спасибо!

1 Ответ

1 голос
/ 28 апреля 2020

Значение по умолчанию lhlimit для каждого ответа - 10. Измените его на max, например https://en.m.wikipedia.org/w/api.php?action=query&prop=linkshere&format=json&maxlag=2&titles=Korn&lhlimit=max.

...