извлечение информации о группе facebook селен - PullRequest
0 голосов
/ 15 июня 2019

Я написал этот простой сценарий селена для поиска информации о группах, хотя страница прокручивается вниз по группам (записки) остается прежней, как я могу получить 30 уникальных групп?

вот код:

from selenium import webdriver
import time
from selenium.webdriver.common.keys import Keys

def get_data(i):
    link = i.find_element_by_xpath('div/div/div/a').get_attribute('href')
    name = i.find_element_by_xpath('div/div/div/a/img').get_attribute('alt')
    image_source = i.find_element_by_xpath('div/div/div/a/img').get_attribute('src')
    temp = i.find_element_by_xpath('div/div/div[2]/div/div[2]/div').text
    try:
        member_count = re.search('(.* members)',x).groups()[0]
    except AttributeError:
        member_count = ''
    item ={"Name":name,
            "Link":link,
            "Members":member_count,
            "Image":image_source}
    return item

driver= webdriver.Firefox(executable_path='/home/timmy/Documents/sublime examples/geckodriver')
driver.get('https://www.facebook.com')
#login
user_name = "fish@gmail.com"
password = "password123"
x=driver.find_element_by_xpath('//input[@id="email"]')
x.clear()
x.send_keys(user_name)
time.sleep(3)
y=driver.find_element_by_xpath('//input[@id="pass"]')
y.clear()
y.send_keys(password)
time.sleep(1)
driver.find_element_by_xpath('//input[@type="submit"]').click() #login
url = "https://www.facebook.com/search/groups/?q=real%20estate"
driver.get(url)
t1 = driver.find_elements_by_xpath('//*[@id="BrowseResultsContainer"]/div')
for i in t1:
    item = get_data(i)
    print(item)
bd=driver.find_element_by_xpath('/html/body')   
bd.send_keys(Keys.PAGE_DOWN)
for i in t1:
    item = get_data(i)
    print(item)
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...