Запуск Scrapyd в качестве демона на centos 6.10 python 3.6 - PullRequest
Новая
       43

Запуск Scrapyd в качестве демона на centos 6.10 python 3.6

0 голосов
/ 24 октября 2018

Я пытаюсь запустить свои скребки на моем выделенном centos 6.10 сервере.Я установил python 3.6.6, создал venv и установил команду scrapyd из pip.Команда scrapyd показывает это: 

2018-10-24T12:23:56-0700 [-] Loading /usr/local/lib/python3.6/site-packages/scrapyd/txapp.py...
2018-10-24T12:23:57-0700 [-] Scrapyd web console available at http://127.0.0.1:6800/
2018-10-24T12:23:57-0700 [-] Loaded.
2018-10-24T12:23:57-0700 [twisted.scripts._twistd_unix.UnixAppLogger#info] twistd 18.7.0 (/usr/local/bin/python3.6 3.6.6) starting up.
2018-10-24T12:23:57-0700 [twisted.scripts._twistd_unix.UnixAppLogger#info] reactor class: twisted.internet.epollreactor.EPollReactor.
2018-10-24T12:23:57-0700 [-] Site starting on 6800
2018-10-24T12:23:57-0700 [twisted.web.server.Site#info] Starting factory <twisted.web.server.Site object at 0x7f4661cdf940>
2018-10-24T12:23:57-0700 [Launcher] Scrapyd 1.2.0 started: max_proc=16, runner='scrapyd.runner'

Совершенно круто.Теперь у меня есть пара вопросов.

1- Если это выполняется на моем выделенном сервере, значит ли это, что веб-консоль scrapyd будет тогда на [serverIP]:6800?Или, по крайней мере, это должно быть там?Потому что во время выполнения команды она не появляется.Веб-сайт не может быть найден.Итак, я как бы ударил по кирпичной стене этим.

2- Другое дело, что я не хочу оставлять браузер или SSH-терминал открытым, чтобы запустить scrapyd.Во всех прочитанных мною статьях сообщалось, что для scrapyd нет подходящего RPM-пакета, и пока кто-то не сделает его, мне не повезло, потому что я лично не являюсь экспертом Linux, и я удивлен, что сделал это так далеко.

Так что я думаю, что это проблема для запуска scrapyd в качестве демона на сервере, потому что ему нужны специальные файлы.Я могу установить scrapyd прямо из мерзавца?Однако не похоже, что даже у git были нужные файлы, которые, казалось бы, мне нужны для работы этого проекта.

Если кто-то может помочь мне на правильном пути, направить меня или предоставить мне статью, где кто-то выполнил весь процесс 6 октября, это было бы здорово.

Ответы [ 3 ]

0 голосов
/ 14 ноября 2018

Вы можете использовать ответ @Rene_Xu и проверить брандмауэр, чтобы выяснить, не сбрасывает ли он внешние соединения.Чтобы сохранить скипид, вы можете написать простой скрипт и превратить его в демона или просто использовать crontab, как объяснено здесь

0 голосов
/ 16 ноября 2018

Кроме того, проверьте настройки выделенной среды, например, если вы находитесь в AWS, вам необходимо настроить группы безопасности, сетевые списки ACL и т. Д., Чтобы разрешать входящие запросы на этот конкретный порт.

0 голосов
/ 12 ноября 2018

1 - используйте файл конфигурации scrapyd, добавьте в него bind_address = 0.0.0.0

# cat ~/.scrapyd.conf [scrapyd] bind_address=0.0.0.0

запустите scrapyd, и вы должны увидеть что-то вроде

2018-11-11T13:58:08-0800 [-] Scrapyd web console available at http://0.0.0.0:6800/

теперь вы должны иметь доступ к веб-интерфейсу с [serverIP]: 6800

2 - вы всегда можете использовать tmux для этого, прочитайте https://hackernoon.com/a-gentle-introduction-to-tmux-8d784c404340

...