cURL скрипт на PHP или Python, Perl

Question

У меня в PHP есть скрипт, который использует multi curl для подключения к сайтам, выполняя следующие действия:

1. вход на сайт
2. получение страницы
3. проверьте содержимое страницы
4. , если мне нужно это содержимое 5.
5. отправьте некоторые данные на сайт.
6. выйдите из системы.

Мой скрипт может войти в систему <20 сайтов параллельно, но он не слишком быстрый и использует много ресурсов сервера. </p>

Могу ли я преобразовать скрипт в Python или другой язык всделать это быстрее?Я не знаю, возможно ли использовать браузер, такой как Firefox или другой, для отправки команд и получения контента?Пример:

system("firefox http://stackoverflow.com/users/login");
system("firefox post-data:username=stack&password=some");
system("firefox getcontent > mypage.html");

Это может выглядеть сумасшедшим решением :), но мне нужно улучшить производительность PHP-скрипта.

Большое спасибо, Адриан

Answer 1

Я думаю, это связано не столько с языком, сколько с ожиданием HTTP-запросов.Не похоже, что вы делаете что-то, что могло бы стать узким местом для PHP.

Я бы начал с тестирования времени, которое требуется для HTTP-запросов.Держу пари, вот где твое узкое место.

Answer 2

Для питона, попробуйте использовать Механизировать