Не могу очистить некоторые ссылки с помощью Scrapy

Question

Я получил странную ошибку.Я не могу очистить ссылку https://www.example.com/2/

Но я могу очистить ссылку https://www.example.com/922/

PS Я не использую реальную ссылку, так как я не могумоя работа.К сожалению.

Answer 1

Когда я пытаюсь отладить его с помощью команды scrapy view https://www.example.com/2/, он показывает правильный HTML, который я ожидаю.Когда я проверяю URL через инспектор Chrome, оказывается, что он дает правильный HTML, но дает статус ошибки 500 вместо 200. Я решил это с помощью handle_httpstatus_list = [500] в моем пауке.