Python Requests-HTML Render () - нет содержимого - PullRequest
0 голосов
/ 13 ноября 2018

Я бы хотел очистить страницу, содержимое которой, похоже, отображается приложением, на которое ссылается html, например:

<div id="app" class="app-mobile-pusher"></div>

Я использую метод render () из Requests-Библиотека Python HTML выглядит следующим образом:

with HTMLSession() as session:
    p = session.post(login_url, data=payload)
    r = session.get(content_url)
    r.html.render()
    print(r.text)

Этот код возвращает HTML-код страницы без каких-либо ошибок, но также и без содержимого (только теги HTML).Примечания:

  • Я попытался добавить аргументы тайм-аута в session.get, чтобы дать странице больше времени для рендеринга, прежде чем обращаться к ней и другим вариантам синтаксиса выше.

  • Также попытался добавить информацию агента пользователя в заголовки на основе этого ответа (чтобы обойти отказ от моего автоматического скрапа)

  • браузер chromium загрузился, когда я впервые запустил render ()

Отсутствие каких-либо сообщений об ошибках вводит меня в заблуждение, и мне сложно воспроизвести контекст этого запроса для тестирования на другом сайте.

Любые конкретные предложения о том, как решить, или идеи о том, как решить проблемы, приветствуются.(Python 3.6, Mac OS)

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...