ошибка при запуске сканирования scrapy my_scraper -o ehadith.csv

Question

Мне действительно нужна помощь, чтобы решить мою проблему.

У меня ошибка:

"[scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.islam.gov.my/robots.txt> (referer: None)" 

Когда я пытаюсь запустить scrapy crawl my_scraper -o ehadith.csv

• этомои пауки, ehadith_scrapy.py: https://hastebin.com/ererirawit.py
• это мой вывод: https://hastebin.com/zinibiqado.coffeescript

Answer 1

Это не ошибка.Это журнал уровня отладки, в котором говорится, что вы успешно загрузили файл robots.txt домена.

Другая проблема, с которой вы столкнулись - это 403 ответа.Попробуйте использовать расширение AutoThrottle , чтобы уменьшить параллелизм запросов.