Невозможно перейти в конец страницы Twitter с помощью Selenium - PullRequest
Новая
       21

Невозможно перейти в конец страницы Twitter с помощью Selenium

0 голосов
/ 13 февраля 2019

Я хочу очистить все твиты от твиттера с помощью Selenium.Итак, для этого я хочу пойти в нижней части страницы. Я много пробовал, но он показывает «Вернуться вверх», как показано на рисунке.Как я могу перейти внизу страницы / исчезнуть «Вернуться к началу» с помощью Selenium или Как я могу очистить все твиты, применяя любой другой подход? 

import pandas as pd
import selenium
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support.ui import WebDriverWait
import time
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC

driver=webdriver.Firefox(executable_path="/home/piyush/geckodriver")
url="https://twitter.com/narendramodi"
driver.get(url)
time.sleep(6)

lastHeight = driver.execute_script("return document.body.scrollHeight")
while True:
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
    time.sleep(6)
    newHeight = driver.execute_script("return document.body.scrollHeight")
    if newHeight == lastHeight:
         break
    lastHeight = newHeight

soup=BeautifulSoup(driver.page_source.encode("utf-8"),"html.parser")
tweet=[p.text for p in soup.find_all("p",class_="tweet-text")]

Вот изображениепроверить элемент «Back-to-top»

Вот выходное изображение

...