Экспорт данных HTML из браузера в файл html

Question

У меня есть веб-сайт, на котором html данные DOM постоянно меняются. Но я хочу экспортировать этот html контент в определенный промежуток времени. Потому что я должен разобрать эти html данные. Веб-сайт не имеет права получать данные из API. Поэтому мне нужно решение, которое может работать как плагин браузера или любой javascript, который может быть запущен на консоли браузера.

Answer 1

Девендра Мишра

млн. devd@gmail.com

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException
import time 

# TIME AFTER WHICH YOU WANTED TO TAKE SNAPSHOT
TIME_AFTER_TAKE_SNAPSHOT = 5
# Specifying incognito mode as you launch your browser[OPTIONAL]
option = webdriver.ChromeOptions()

# Create new Instance of Chrome in incognito mode
browser = webdriver.Chrome(executable_path='/var/lib/chromedriver', chrome_options=option)

# Go to desired website
browser.get("https://google.com/")


for i in range(1000):
    # complate page your want to take snapshot
    print browser.page_source

    # all text content of tag index print below.
    val = browser.find_elements_by_class_name("index{}".format(i))  
    print val[0].text
    time.sleep(TIME_AFTER_TAKE_SNAPSHOT)