Как определить оптимальное количество параллельных загрузок с помощью mult_curl? - PullRequest
0 голосов
/ 10 февраля 2011

Я запускаю сканер, который постоянно загружает несколько веб-сайтов.Пропускная способность не является проблемой.Существует ли стандартный максимум для параллельных загрузок?Или способ подсчитать, сколько URL я могу загрузить, не угрожая времени работы сервера?

РЕДАКТИРОВАТЬ: Я имею в виду использование ресурсов на моем сервере.Список загрузок предназначен для облегчения загрузки на удаленные серверы.

1 Ответ

1 голос
/ 10 февраля 2011

Большинство браузеров выполняют 2-5 параллельных запросов на сервер.Это довольно разумный диапазон, но используйте 2, если вы действительно хотите быть в безопасности.В конечном итоге влияние на сервер зависит от слишком большого количества переменных (скорость сервера, память, пропускная способность, динамический код, количество запросов в секунду и т. Д.), Чтобы дать точный ответ.

ОБНОВЛЕНИЕ: Спасибо за разъяснение вопроса.Я не думаю, что кто-то может дать вам ответ.Предполагая, что у вас действительно была практически неограниченная пропускная способность, число факторов, определяющих вашу безопасную нагрузку, по-прежнему сильно варьируется.Вы даже не обсуждали, что делает ваш скрипт с загруженным контентом.Если он будет сохранен прямо на диск, ваш лимит будет где-то в вашей системе ввода-вывода, и производительность зависит от всего, что я упомянул выше.Поскольку это ваш вопрос, на который нельзя ответить, и если бы он мог, он бы относился к ServerFault, поскольку это действительно вопрос об оптимизации и мониторинге нагрузки ввода-вывода.

Краткий ответ: нет, формального или неформального нетстандарт для максимальных загрузок в отношении клиентского компьютера, и единственный способ выяснить это состоит в том, чтобы попробовать другие ограничения и контролировать нагрузку.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...