используя команду Scrapy fetch для автоматической записи видимого html в файл?

Question

Я нахожусь в моих первых днях изучения scrapy. В тот момент, когда я начинаю работать с новой страницей, я go на приглашение cmd и ввожу, например,

scrapy fetch https://www.bbc.co.uk

. Он немедленно покажет полную html этой страницы в поле cmd. , Затем я вручную подсвечиваю, копирую и вставляю html в блокнот, чтобы проверить информацию, которую я хочу почистить, поскольку я обнаружил, что некоторые сайты не могут быть полностью просмотрены с помощью скрапа.

Там должно быть более простой способ, чем копирование и вставка в блокнот вручную. Есть ли модификатор команды, который я мог бы добавить к команде fetch, чтобы он сохранил html в файл?

Answer 1

Получилось достаточно быстрое исправление, вот оно;

scrapy shell url

, тогда

view(response)

покажет, что scrap видит, отображая это в вашем браузере. При необходимости можете просмотреть html оттуда.

Answer 2

scrapy fetch --nolog https://www.bbc.co.uk > response.html