Я занимаюсь парсингом веб-страниц с помощью Python.Так что я делаю:
ans = requests.get(link)
Затем я использую re для извлечения некоторой информации из html, которая хранится в
ans.content
С чем я столкнулся, так это с тем, что некоторые сайты используют скрипты, которыеавтоматически выполняется в браузере, но не при попытке загрузить страницу с помощью запросов.Например, вместо того, чтобы получать страницу с информацией, я получаю что-то вроде
scripts_to_get_info.run()
в HTML-коде
Браузер установлен на моем компьютере, так что как программа, которую я написал, это означает, чтотеоретически, у меня должен быть способ запустить этот скрипт и получить информацию во время выполнения кода на python для последующего анализа.Является ли это возможным?Любое предложение?
(идея, что это выполнимо, возникла из-за того, что, когда я пытался просмотреть страницу в Google, я увидел настоящий HTML-файл без каких-либо дрянных скриптов)