Лучший способ создать пул прокси в php, используя жрет или завиток - PullRequest
0 голосов
/ 04 февраля 2020

Вопрос: Как лучше всего создать прокси-пул в php, мои первые мысли - использовать CURL или Guzzle.

Usecase: У меня есть x количество прокси-серверов, к которым я обычно подключаюсь по мере поступления, я пытаюсь подумать, какой вариант лучше всего создать, где я могу создать пул всех прокси-серверов, которые предварительно подключены, и затем передать свой запрос пулу подключенные прокси для завершения запроса. Проблема с этим подходом заключается в том, что каждый раз, когда я сбрасываю соединение и подключаюсь к следующему прокси, это добавляет небольшую задержку, и мой вариант использования означает, что задержка является критической, поэтому я стараюсь избегать отключения и подключения к следующему прокси, имея пул подключенных прокси.

Цель: Достижение минимальной задержки путем передачи запроса в пул прокси для завершения одним из уже установленных подключений прокси.

1 Ответ

0 голосов
/ 05 февраля 2020

Для достижения минимальной задержки путем передачи запроса в пул прокси для завершения одним из уже установленных прокси-соединений.

В PHP (с использованием cURL) вы не можете управляйте пулом соединений напрямую, cURL поддерживает его внутри библиотеки. Но вы можете указать некоторые параметры, чтобы установить его размер.

Взгляните на документы по созданию CurlMultiHandler . Существуют опции CURLMOPT_MAX_TOTAL_CONNECTIONS и CURLMOPT_MAX_HOST_CONNECTIONS, которые вас интересуют. Поэтому, если вы делаете запросы только через предварительно определенный список прокси-серверов, эти параметры будут регулировать размер пула соединений с вашими прокси.

Также принимайте посмотрите на CURLOPT_MAXCONNECTS и убедитесь, что вы используете HTTP 1.1 (keepalive не поддерживается в HTTP 1.0)

...