Сканирование веб-страницы и вызов функций JavaScript в Python

Question

Мне нужно сканировать веб-сайт, однако его содержимое является динамическим.Есть ли в Python пакеты, которые могли бы вызывать функции js?Например, предположим, что у меня есть ссылка и функции JS 1, 2 и 3 в JS, которые я должен вызывать на этой веб-странице, и мне нужна конечная веб-страница после всех вызовов функции JS.

Answer 1

Выполнение клиентского javascript может быть очень сложным, поэтому самый надежный способ запустить весь javascript на странице, как пользователь, - это использовать настоящий браузер в режиме без головы.Специально для Python есть комбо Python + Selenium для работы с безголовым Chrome.Если вы хотите обменять Python на Nodejs, более мощным набором инструментов является Puppeteer + Chrome без головы (он позволяет вам делать гораздо больше, чем Selenium).Существует также ранний неофициальный порт Puppeteer для Python, но я не пробовал его и не могу комментировать, насколько стабильным он является https://pypi.org/project/pyppeteer/