Я бы хотел очистить страницу, содержимое которой, похоже, отображается приложением, на которое ссылается html, например:
<div id="app" class="app-mobile-pusher"></div>
Я использую метод render () из Requests-Библиотека Python HTML выглядит следующим образом:
with HTMLSession() as session:
p = session.post(login_url, data=payload)
r = session.get(content_url)
r.html.render()
print(r.text)
Этот код возвращает HTML-код страницы без каких-либо ошибок, но также и без содержимого (только теги HTML).Примечания:
Я попытался добавить аргументы тайм-аута в session.get, чтобы дать странице больше времени для рендеринга, прежде чем обращаться к ней и другим вариантам синтаксиса выше.
Также попытался добавить информацию агента пользователя в заголовки на основе этого ответа (чтобы обойти отказ от моего автоматического скрапа)
браузер chromium загрузился, когда я впервые запустил render ()
Отсутствие каких-либо сообщений об ошибках вводит меня в заблуждение, и мне сложно воспроизвести контекст этого запроса для тестирования на другом сайте.
Любые конкретные предложения о том, как решить, или идеи о том, как решить проблемы, приветствуются.(Python 3.6, Mac OS)