Мне нужно одновременно запустить пять разных пауков-скраперов, поэтому я задаю собственную команду в скрапе, например
scrapy crawlall
чтобы назвать этих пауков. Он работает успешно, когда я запускаю в командной строке в независимых.
Однако происходит сбой, когда я использую php shell_exec для вызова той же команды, а код в php-файле похож на
$cmd = 'scrapy crawlall';
$results = shell_exec($cmd);
echo $results;
Веб-страница немедленно ничего не отобразит и не будет ждать функцию скрапинга (или даже она не была вызвана в начале, я не знаю). Итак, как я могу вызвать эту команду или другой способ запустить эти 5 пауков одновременно в файле php? Спасибо!