Реализовать очистку страницы кусками в Scrapy Python

Question

Я пытаюсь очистить страницу в Scrapy, но порциями. Цель состоит в том, чтобы просто прочитать заголовок страницы, а не всю страницу.

Пример. Если у меня размер страницы 150 КБ, но я просто хотел прочитать заголовок, который должен быть в верхней части и размером менее 10 КБ, поэтому, если я прочту первую часть, я найду заголовок и просто отменим оставшуюся проверку страницы.

Возможно ли реализовать что-то в Scrapy, так что читайте страницу кусками?

Answer 1

Scrapy в настоящее время не поддерживает остановку чтения ответа до его завершения.

Возможно, вы захотите отследить некоторые связанные запросы существующих функций:

• Предоставление DownloaderMiddleware интерфейса для чтения необработанных HTTP-запросов и ответов

• Дополнительные возможности отмены загрузок в обработчике загрузчиков HTTP

Может также иметь смысл создать новый запрос функции, который фокусируется на вашем сценарии, так как вы хотите прекратить читать ответ, но по-прежнему считывать данные до сих пор в ваших обратных вызовах, что я не думаю, что охвачено в существующих запросах функций.