Одновременное выполнение нескольких запросов ко многим веб-сайтам, безусловно, улучшит ваши результаты, поскольку вам не нужно ждать получения результата, прежде чем отправлять новые запросы.
Однако многопоточность - это только один из способов сделать это (и я бы добавил, плохой). Не используйте потоки для этого. Только не ждите ответа, прежде чем отправлять другой запрос! Для этого не нужно создавать потоки.
Хорошая идея - использовать scrapy . Это быстрый высокоуровневый фреймворк для сканирования экрана и веб-сканирования, используемый для сканирования веб-сайтов и извлечения структурированных данных из их страниц . Он написан на python и может одновременно выполнять много подключений для извлечения данных (без использования потоков). Это действительно быстро. Вы также можете изучить его, чтобы увидеть, как оно реализовано.