Я написал этот простой сценарий селена для поиска информации о группах, хотя страница прокручивается вниз по группам (записки) остается прежней, как я могу получить 30 уникальных групп?
вот код:
from selenium import webdriver
import time
from selenium.webdriver.common.keys import Keys
def get_data(i):
link = i.find_element_by_xpath('div/div/div/a').get_attribute('href')
name = i.find_element_by_xpath('div/div/div/a/img').get_attribute('alt')
image_source = i.find_element_by_xpath('div/div/div/a/img').get_attribute('src')
temp = i.find_element_by_xpath('div/div/div[2]/div/div[2]/div').text
try:
member_count = re.search('(.* members)',x).groups()[0]
except AttributeError:
member_count = ''
item ={"Name":name,
"Link":link,
"Members":member_count,
"Image":image_source}
return item
driver= webdriver.Firefox(executable_path='/home/timmy/Documents/sublime examples/geckodriver')
driver.get('https://www.facebook.com')
#login
user_name = "fish@gmail.com"
password = "password123"
x=driver.find_element_by_xpath('//input[@id="email"]')
x.clear()
x.send_keys(user_name)
time.sleep(3)
y=driver.find_element_by_xpath('//input[@id="pass"]')
y.clear()
y.send_keys(password)
time.sleep(1)
driver.find_element_by_xpath('//input[@type="submit"]').click() #login
url = "https://www.facebook.com/search/groups/?q=real%20estate"
driver.get(url)
t1 = driver.find_elements_by_xpath('//*[@id="BrowseResultsContainer"]/div')
for i in t1:
item = get_data(i)
print(item)
bd=driver.find_element_by_xpath('/html/body')
bd.send_keys(Keys.PAGE_DOWN)
for i in t1:
item = get_data(i)
print(item)