Почему данные не полностью загружены с представлением (ответом) в Scrapy?

Question

Я пытаюсь очистить некоторые комментарии с Youtube с помощью Scrapy.Однако, когда я вхожу в режим scrapy shell и открываю его с помощью view(response), я не могу найти никаких комментариев, кроме счетчика загрузки.

scrapy shell https://www.youtube.com/watch?v=kkl7-NzqxWo

view(response)

Показывает мне бесконечный счетчик в разделе комментариев.Как я могу также загрузить комментарии, чтобы я мог их очистить?

Answer 1

Это потому, что Scrapy не поддерживает JS.Поэтому комментарии загружаются с дополнительным запросом https://www.youtube.com/comment_service_ajax?action_get_comments=1... (проверьте вкладку «Сеть» на панели Chrome devtools).

Вы можете:

• проверить дополнительные запросы и проанализировать их
• использовать Scrapy + Splash
• использовать другие инструменты для чистки, поддерживающие рендеринг JS