Немного странная проблема здесь.Мы переносим веб-сайт на новую программную платформу.В рамках этой миграции мы должны скопировать файлы из одной корзины Amazon S3 в другую.Существуют сотни тысяч файлов.
Мы также должны использовать имеющееся у нас программное обеспечение (phpFox) для этого.В основном фреймворк php.
Задание разбивается на сегменты, которые мы вызываем, используя смещение в URL.
В основном: скопируйте 10 файлов и, при необходимости, обновите базу данных. Увеличьте смещение на 10, промойте, повторите.
Трафик API слабый, нагрузка на сервер ниже 1%, однако, еслимы открываем более двух вкладок на любой машине к серверу, сценарий начинает пропорционально замедляться, как будто веб-сервер (Apache) ставит команды в очередь вместо их параллельного запуска.
Мы нашличто, если мы откроем две вкладки на многих машинах, он масштабируется, как и ожидалось.Чтобы либо насытить нашу линию связи, либо поставить какую-либо заметную нагрузку на сервер, нам нужно заполнить комнату ноутбуками.Хотя это смешно, это также очень непрактично и, как правило, боль в заднице.Здесь должен быть лучший способ.
Я пытался увеличить максимальное количество резервных процессов, количество запросов на одного ребенка и т. Д. И т. Д. В 10 раз, и заметного увеличения скорости не было.Чего нам не хватает?Как мне сказать Apache временно разрешить кому-либо подключаться столько раз, сколько ему нужно, и сходить с ума?
PHP 5.3.8 PHP Sapi: apache2handler Загруженные PHP-расширения: Основная дата ereg libxml openssl pcre sqlite3 zlib bcmath calendar ctypecurl dom fileinfo filter ftp gd hash iconv SPL json mbstring сеанс mysql стандартный posix Отражение Phar SimpleXML сокеты SQLite imap tokenizer xml xmlreader xmlwriter zip apache2handler
MYSQL: MySQL 5.0.92-сообщество
Спасибо за чтение!