как исправить ОШИБКУ: ошибка обработки паука GET url

Question

Я очищаю сайт электронной коммерции и очищаю несколько его категорий, но некоторые из них дают результаты, но некоторые ссылки получили ОШИБКУ: обработка ошибок Spider ... пожалуйста, помогите мне, как отсортировать его ...

это код

это код 2

это ошибка в консоли

Answer 1

Согласно вашим данным об ошибках консоли возникает в URL-адресе с аргументом p ?p=2 - это означает, что ваш скребок не обрабатывает вторые страницы определенного поиска.
Похоже, ваше приложение не передает метаданные вследующие запросы.

parse_products метод вашего паука требует метаданных из parse метода.
Я полагаю, что ваш parse_products код, отвечающий за разбиение результатов поиска, выглядит следующим образом:

yield Request(next_url,callback=self.parse_products)

Если оно истинно, ваше приложение не сможет читать метаданные и выдавать ошибку, как из вашей консоли.
В этом случае вам необходимо добавить мета-аргумент к запросу на следующую страницу в вашем parse_products методе:

yield Request(next_url, meta = response.meta,callback=self.parse_products)