Невозможно очистить для бесконечной прокрутки с помощью Selenium

Question

Я чищу твиты с помощью Selenium за последние 1 год, но он не может прокрутить страницу дальше точки и указывать «Вернуться к началу».Как я могу преодолеть эту проблему, используя Selenium?

Вот мой код-

driver=webdriver.Firefox(executable_path="/home/piyush/geckodriver")
url="https://twitter.com/narendramodi"
driver.get(url)
time.sleep(6)

lastHeight = driver.execute_script("return document.body.scrollHeight")
while True:
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
    time.sleep(6)
    newHeight = driver.execute_script("return document.body.scrollHeight")
    if newHeight == lastHeight:
         break
    lastHeight = newHeight

Вот вывод в виде изображения

Answer 1

Вы можете использовать что-то вроде следующего.Попробуйте подождать с некоторым таймаутом, пока «Вернуться наверх» не исчезнет, ​​а затем продолжить удаление.

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

driver = webdriver.Firefox()
driver.get("http://somedomain/url_that_delays_loading")
try:
    disappeared = WebDriverWait(driver, 10).until(
        lambda x: not EC.visibility_of_element_located((By.ID, "myDynamicElement"))
    )

    if disappeared:
        print('Continue')
finally:
    driver.quit()