Планирование Scrapy Spider через пакет с Win10 Task-планировщик - PullRequest
Новая
       15

Планирование Scrapy Spider через пакет с Win10 Task-планировщик

1 голос
/ 05 марта 2019

Я все еще довольно плохо знаком с Python, но мне удалось заставить моего паука сканировать то, что мне нужно.

Затем я создал командный файл для запуска этого паука. Пакет выглядит так: 

call C:\Users\Tribic\Anaconda2\Scripts\activate.bat
call cd cmc\cmc\spiders\
call scrapy runspider cmc_job.py -o out3.csv

Line1 переключает cmd в python

Линия2 идет по соответствующему пути

В Line3 запускается паук, который сохраняет данные в файл CSV.

Это работает нормально, пока я щелкаю пакет (мышь или клавиатура) - но при планировании с помощью Win10 Task Scheduler он не работает ... Окна cmd открываются на 1/2 секунды, я думаю, что это не так дождитесь выполнения первой строки, поэтому строка 3 является неверной командой, а затем закрывается.

Еще раз, он работает нормально при запуске вручную, поэтому я не вижу разницы между выполнением вручную и системой.

Заранее спасибо:)

1 Ответ

2 голосов
/ 06 марта 2019

Попробуйте следующий синтаксис, он работает для меня в планировщике задач Windows. Обратите внимание на кавычки и вызов cmdline.py 

@Echo Off
REM activate Python venv
CALL "C:\Users\Tribic\Anaconda2\Scripts\activate.bat"
CD "C:\cmc\cmc\spiders\"
CALL "C:\Users\Tribic\Anaconda2\Scripts\python.exe" "C:\Users\Tribic\Anaconda2\Scripts\Lib\site-packages\scrapy\cmdline.py" runspider cmc_job.py -o out3.csv
deactivate
...