скручивание для более чем 100 000 запросов

Question

Я использую curl_multi_exec для обработки более 100 тыс. Запросов.Я делаю 100 запросов одновременно, потому что curl_multi_exec может обрабатывать только 10 запросов одновременно, чтобы в итоге получить 100 000 запросов.Мы добавили несколько серверов в эту систему, чтобы распределить нагрузку [мы используем балансировку нагрузки].Каков наилучший способ заставить curl обрабатывать 100 000 запросов и использовать эти дополнительные серверы?В чем недостаток (кроме времени) обработки такого количества запросов на одном сервере?Как я могу использовать дополнительные серверы для обработки этих запросов?

Для уточнения - в основном, мы используем curl для отправки более 100 тыс. Запросов на сторонние серверы.Проблема только с использованием 1 сервера заключается в том, что количество запросов, которые может обработать 1 сервер, ограничено.Поэтому мы решили добавить дополнительные серверы, но мы не уверены, как спроектировать эту систему для использования curl для обработки такого большого количества запросов.

Спасибо!

Answer 1

Не зацикливайтесь на CURL. Это просто инструмент. Вы сосредотачиваетесь на неправильном уровне дизайна.

Вам необходимо учесть, как распределить эту рабочую нагрузку между несколькими серверами. В простом проекте будет одна центральная база данных, в которой перечислены все ваши URL-адреса, и метод, позволяющий клиентам «извлекать» URL-адрес (или набор URL-адресов) для продолжения.

Как только у вас получится, часть скручивания станет самой легкой частью всего этого.