Scrapyd's Scrapyd слишком медленный с планированием пауков - PullRequest
Новая
       15

Scrapyd's Scrapyd слишком медленный с планированием пауков

6 голосов
/ 06 февраля 2012

Я использую Scrapyd и сталкиваюсь со странной проблемой при запуске 4 пауков одновременно. 

2012-02-06 15:27:17+0100 [HTTPChannel,0,127.0.0.1] 127.0.0.1 - - [06/Feb/2012:14:27:16 +0000] "POST /schedule.json HTTP/1.1" 200 62 "-" "python-requests/0.10.1"
2012-02-06 15:27:17+0100 [HTTPChannel,1,127.0.0.1] 127.0.0.1 - - [06/Feb/2012:14:27:16 +0000] "POST /schedule.json HTTP/1.1" 200 62 "-" "python-requests/0.10.1"
2012-02-06 15:27:17+0100 [HTTPChannel,2,127.0.0.1] 127.0.0.1 - - [06/Feb/2012:14:27:16 +0000] "POST /schedule.json HTTP/1.1" 200 62 "-" "python-requests/0.10.1"
2012-02-06 15:27:17+0100 [HTTPChannel,3,127.0.0.1] 127.0.0.1 - - [06/Feb/2012:14:27:16 +0000] "POST /schedule.json HTTP/1.1" 200 62 "-" "python-requests/0.10.1"
2012-02-06 15:27:18+0100 [Launcher] Process started: project='thz' spider='spider_1' job='abb6b62650ce11e19123c8bcc8cc6233' pid=2545 
2012-02-06 15:27:19+0100 [Launcher] Process finished: project='thz' spider='spider_1' job='abb6b62650ce11e19123c8bcc8cc6233' pid=2545 
2012-02-06 15:27:23+0100 [Launcher] Process started: project='thz' spider='spider_2' job='abb72f8e50ce11e19123c8bcc8cc6233' pid=2546 
2012-02-06 15:27:24+0100 [Launcher] Process finished: project='thz' spider='spider_2' job='abb72f8e50ce11e19123c8bcc8cc6233' pid=2546 
2012-02-06 15:27:28+0100 [Launcher] Process started: project='thz' spider='spider_3' job='abb76f6250ce11e19123c8bcc8cc6233' pid=2547 
2012-02-06 15:27:29+0100 [Launcher] Process finished: project='thz' spider='spider_3' job='abb76f6250ce11e19123c8bcc8cc6233' pid=2547 
2012-02-06 15:27:33+0100 [Launcher] Process started: project='thz' spider='spider_4' job='abb7bb8e50ce11e19123c8bcc8cc6233' pid=2549 
2012-02-06 15:27:35+0100 [Launcher] Process finished: project='thz' spider='spider_4' job='abb7bb8e50ce11e19123c8bcc8cc6233' pid=2549

У меня уже есть эти настройки для Scrapyd: 

[scrapyd]
max_proc = 10

Почему нет?t Scrapyd запускает пауков одновременно, так быстро, как они запланированы?

Ответы [ 2 ]

7 голосов
/ 13 февраля 2012

Я решил это, отредактировав scrapyd / app.py в строке 30.

Изменено timer = TimerService(5, poller.poll) на timer = TimerService(0.1, poller.poll)

EDIT: Приведенный ниже комментарий AliBZ относительно параметров конфигурации - лучший способ изменить частоту опроса.

4 голосов
/ 06 февраля 2012

Из моего опыта с scrapyd, он не запускает паука сразу же, как вы запланировали.Обычно он немного ждет, пока текущий паук не заработает, а затем запускает следующий процесс паука (scrapy crawl).

Итак, scrapyd запускает процессы один за другим, пока не будет достигнуто число max_proc.

Из вашего журнала я вижу, что каждый из ваших пауков работает около 1 секунды.Я думаю, вы увидите, что все ваши пауки бегут, если они будут бегать не менее 30 секунд.

...