Я использую python BeautifulSoup4 для сканирования скриншотов веб-сайтов с помощью chrome драйвера 83. Для этого я создал файл python и выполнил этот файл из кода Symfony PHP. Затем, чтобы упростить задачу, я сделал ее командой.
Итак, я могу просто запустить команду /bin/console crawl, после чего она запустит файл python для сканирования снимка экрана веб-сайта. Я загрузил код на сервер Digital Ocean Ubuntu и проверил, что команда работает с терминала вручную.
Вот так - /var/www/myproject/bin/console crawl затем он правильно сканирует указанные веб-сайты.
Дело в том, что мне нужно периодически запускать этот искатель, поэтому я сделал для этого cronjob.
0 * * * * /var/ww/myproject/bin/console crawl
Затем начинается этот кошмар - я получаю эту ошибку в моем журнале ошибок.
Message: unknown error: failed to start a thread for the new session.
Message: Service /usr/bin/chromedriver unexpectedly exited. Status code was -5
Я попытался найти решение в Google, но не смог узнать, что означает этот код состояния -5. Кто-нибудь знает, почему возникает эта ошибка?
Заранее спасибо.
К вашему сведению, я попытался запустить Xvfb в фоновом режиме, а также установить параметр DISPLAY.
nohup Xvfb :99
export DISPLAY=:99
Причина / Другой вопрос
Я боролся с этой проблемой более 2 дней, и, наконец, я нашел решение. Проблема возникла из-за высокой загрузки ЦП поисковым роботом веб-сайта.
Я установил задание cron на слишком частое сканирование, и ЦП не мог его обработать. Я снизил частоту, и теперь она работает.
Теперь мне интересно, есть ли способ уменьшить использование ЦП сканером BS.