Веб-разбор | Как получить данные, которые генерируются скриптом

Question

Я хочу проанализировать сайт и получить данные, которые генерируются скриптом. Чтобы получить эти данные, мне нужно запустить следующий js скрипт в chrome консоли инструментов dev

let key;

grecaptcha
  .execute(<SITE_KEY>, { action: 'pageview' })
  .then(function(e) {
    $.post('/recaptcha', {
      token: e,
      imprints: key
    }).done(function(i) {
      console.log(i);
    });
  });

Проблема следующая, ключ, это атрибут data-verify в span (см. снимок экрана ниже)

У меня есть скрипт python, который анализирует страницу и получает все ключи для всех нужных мне объектов, но проблема в том, что при запуске этого скрипта все ключи различаются с ключи от страницы (потому что страница, возможно, перезагружена, или разные куки). Мне нужны идеи, как правильно запустить этот скрипт. И дайте мне знать, если вам нужна какая-либо информация, чтобы уточнить что-то.

Answer 1

Понял! Я сделал это с Selenium WebDriver, он может выполнить javascript код в python с помощью execute_script метода.