Лоскутная оболочка не возвращает всю страницу - PullRequest
Новая
       34

Лоскутная оболочка не возвращает всю страницу

0 голосов
/ 09 ноября 2019

У меня следующая проблема.

Когда я запускаю эту лоскутную оболочку: scrapy shell "http://en.50partners.fr/Startups/"

Я ожидаю получить полную страницу, к сожалению, когда я запускаю view(response) Я получаюстраница без самого раздела стартапов. У вас есть идеи, как решить эту проблему?

Спасибо.

1 Ответ

1 голос
/ 09 ноября 2019

Часть со стартапами загружается динамически.

Попробуйте открыть начальную страницу в браузере по вашему выбору с отключенным JavaScript, и вы получите тот же результат.

СейчасИзучите HTML-код этой страницы, чтобы увидеть это: 

<div class="Folder_page_block startups"
data-children-count="46"
data-children-reload-url="http://en.50partners.fr/fiftyPartners/ajax/folder/67/children/%page%/%limit%/%view%"
data-children-view="line">

URL-адрес, откуда загружаются данные. Возможно, вы захотите немного поиграться с URL-адресом, убрать все после слова «children» и запустить еще один запрос с этим URL.

Полученный ответ - это не тот HTML, который вы ожидаете. Возможно, вы захотите import json, запустите json.load(response.text) и просмотрите итоговый список.

Получайте удовольствие:)

...