Я хочу сканировать местный новостной сайт, на котором есть более 1000 пейджеров для каждой категории. Я использую Beautiful Soup и запросы. Но мой сканер работает очень медленно, даже после запуска с 10:00 до 17:30 он не закончится. Итак, у меня возникла идея сделать мини-размер последнего (каждый на 100 пейджеров или около того) и запускать их параллельно.
Теперь совет, который я ищу:
Какой метод будет менее трудоемким?
Спасибо и извините за мой плохой английский.