Scrapy отправляет статистику по URL, переданному в качестве аргумента, как POST-запрос каждые 5 минут

Question

Мне нужно отправить статистику сканера на URL, который передается как аргумент паука.Мне нужно сделать POST-запрос с регулярными интервалами в 5 минут.Как я могу это сделать?

Answer 1

Возможно, вы захотите написать расширение, которое просто отправляет запрос по почте каждые 5 минут.
Вы можете сделать эти запросы либо с использованием собственных механизмов scrapy (например, engine.download()), либо вы можете использовать другой асинхронный http-клиент(например, treq )

Если вы не уверены, как структурировать свое расширение, вы можете взглянуть на logstats.py , который делает то же самое, кромене входить в систему через http.

Так как вы все равно пишете расширение, я бы рекомендовал установить настройки URL и интервалов, но этот выбор остается за вами.