ОК, я посмотрел исходный код этой вещи, и нелегко извлечь из всего остального проверочный материал. Итак, вот что я хотел бы.
Во-первых, ров curl
. Запуск нового процесса для каждого файла, который вы хотите проверить, не очень хорошая идея. Вам нужно написать сценарий драйвера, который берет список URL-адресов и отправляет их на локальный сервер, работающий на localhost
. На самом деле, вы, возможно, позже захотите распараллелить это, потому что обычно в любом случае будет куча httpd
процессов. Ну, я забегаю вперед.
Этот сценарий может использовать LWP , потому что все, что вы делаете, это отправляете некоторые данные в сценарий CGI на localhost
и сохраняете / обрабатывает результаты. Вам не нужна полная WWW :: Mechanize функциональность.
Что касается CGI-скрипта validator
, вы должны настроить его как сценарий реестра mod_perl . Убедитесь, что вы предварительно загрузили все необходимые библиотеки.
Это должно повысить скорость обработки документов в секунду с 1,3 до чего-то более приемлемого.