Нажмите на кнопку «Загрузить больше», используя селен, который не работает должным образом в python3.7 - PullRequest
Новая
       56

Нажмите на кнопку «Загрузить больше», используя селен, который не работает должным образом в python3.7

0 голосов
/ 26 июня 2019

Поскольку я очищаю, страница является динамической с кнопкой «загрузить больше». Я использовал селен для этого. Первая проблема заключается в том, что он работает только один раз. означает нажать кнопку «загрузить больше» только в первый раз. Вторая проблема заключается в том, что он очищает только те статьи, которые находятся до первой кнопки «Загрузить еще». Не соскрести после этого. Третья проблема заключается в том, что он очищает все статьи дважды. Четвертая проблема: мне нужна только дата, но она даёт вместе с датой, автором и местом. 

import time
import requests
from bs4 import BeautifulSoup
from bs4.element import Tag
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
base = "https://indianexpress.com"
browser = webdriver.Safari(executable_path='/usr/bin/safaridriver')
wait = WebDriverWait(browser, 10)
browser.get('https://indianexpress.com/?s=cybersecurity')

while True:
    try:
        time.sleep(6)
        show_more = wait.until(EC.element_to_be_clickable((By.LINK_TEXT, 'Load More')))
        show_more.click()
    except Exception as e:
            print(e)
            break

soup = BeautifulSoup(browser.page_source,'lxml')
search_results = soup.find('div', {'id':'ie-infinite-scroll'})

links = search_results.find_all('a')
for link in links:
    link_url = link['href']
    response = requests.get(link_url)
    sauce = BeautifulSoup(response.text, 'html.parser')
    dateTag = sauce.find('div', {'class':'m-story-meta__credit'})
    titleTag = sauce.find('h1', {'class':'m-story-header__title'})
    contentTag = ' '.join([item.get_text(strip=True) for item in sauce.select("[class^='o-story-content__main a-wysiwyg'] p")])

    date = None
    title = None
    content = None

    if isinstance(dateTag, Tag):
        date = dateTag.get_text().strip()
    if isinstance(titleTag, Tag):
        title = titleTag.get_text().strip()

    print(f'{date}\n {title}\n {contentTag}\n')
    time.sleep(3)

В этом коде нет ошибок. Но это требует доработки. Что я должен сделать, чтобы решить вышеупомянутые проблемы?

Спасибо.

1 Ответ

1 голос
/ 26 июня 2019

Потому что вас не ждет новый контент. Пока новый контент ожидает загрузки, вы пытаетесь нажать кнопку «Загрузить еще».

Сообщение об ошибке: 

Message: Element <a class="m-featured-link m-featured-link--centered ie-load-more" href="#"> is not clickable at point (467,417) because another element <div class="o-listing__load-more m-loading"> obscures it

Мое решение: 

while True:
    try:
        wait.until(EC.element_to_be_clickable((By.XPATH, "//a[contains(@class, 'ie-load-more')]")))
        browser.find_element_by_xpath("//a[contains(@class, 'ie-load-more')]").click()
        wait.until(EC.visibility_of_element_located((By.XPATH,"//div[@class='o-listing__load-more']")))
    except Exception as e:
        print(e)
        break
...