У меня есть приложение, которое использует python-scrapy и модуль конвейера scrapy -asticsearch для добавления новых данных вasticsearch.Он прекрасно работает до тех пор, пока я запускаю приложение, которое включает в себя scrapy.crawler CrawlerRunner (запускается из сценария, а не из оболочки scrapy) из командной строки, когда вы вошли в систему как root с помощью ssh.
Однако, когда я запускаю приложение с помощью cronjob, либо в bash-скрипте, либо запускается как python crawlercontroller.py - он обновляет эластичный поиск в процессе, я вижу, как в ES увеличивается количество документов, нопосле заполнения новые документы исчезают.
Я пробовал несколько разных подходов для запуска задания с помощью cronjob, осознавая, что я использую конкретную версию Python, и поэтому в командной строке cronjob указан полный путь к версии Python, а затем полный путь к Python.скрипт.Я могу проверить это работает вручную из командной строки.
Я также попытался запустить скрипт оболочки bash с похожими командами внутри и запустить как демон или без &.Я пробовал многочисленные варианты в самом файле bash, такие как включение строки взрыва и экспорт пути оболочки, но я всегда получаю одинаковые результаты, он запускает его с документацией в файле журнала, которая не содержит ошибок, кромеasticsearchБД не обновляется.
Есть мысли?