Это происходит, когда вы часто обращаетесь к веб-странице. Scrapy не является инструментом автоматизации браузера. Он просто запрашивает страницу и анализирует html. В вашей проблеме, если вы хотите заполнить капчу программно, вы можете использовать селен. Но это так тяжело и обременительно для оперативной памяти.
Решение заключается в использовании прокси или ротации агента пользователя. Например: -
user-agents=['mozilla 1/0', 'googlebot']
И выберите случайный пользовательский агент, например: -
random_agent=random.choice(user_agent)
Теперь вы используете сгенерированный пользовательский агент при запросе страницы.
Scrapy также предоставляют много промежуточного программного обеспечения для этой цели. https://doc.scrapy.org/en/1.4/topics/spider-middleware.html
Список пользовательских агентов: - https://deviceatlas.com/blog/list-of-user-agent-strings
Веб-сканеры используют такие методы Cheers!