Можете ли вы запускать python wikipedia api несколько раз одновременно? - PullRequest
0 голосов
/ 25 сентября 2019

У меня есть список всех статей в Википедии, и я хочу почистить тело для исследовательских целей.Мой скрипт работает нормально, но на текущей скорости это займет 40 дней подряд.

Мои вопросы:

Могу ли я запустить этот скрипт, скажем, 10 раз параллельно в разных окнах терминала.Если я просто установлю его так:

Сценарий 1: начальная точка: 0 конечная точка: len (список) / 10

Сценарий 2: начальная точка начала: len (список) / 10 конецточка: len (список) / (10 * 2)

...

Сценарий 10

и т. д.

Это может оставить меня с4 дня, что вполне разумно.

Мой подход работает?Есть ли лучший подход?

Спасибо.

1 Ответ

0 голосов
/ 25 сентября 2019

Возможно да, идеальное нет.Как вы думаете, почему он работает так медленно?Также вы используете вики-API или вы очищаете сайт?Есть факторы, которые влияют на любой из этих двух факторов, поэтому знание того, что вы на самом деле делаете, поможет нам дать лучший ответ.

...