Как получить ссылки с использованием селена и очистить с помощью Beautifulsoup? - PullRequest
Новая
       17

Как получить ссылки с использованием селена и очистить с помощью Beautifulsoup?

1 голос
/ 14 июня 2019

Я хочу собирать статьи с этого сайта.Я использовал Beautifulsoup только раньше, но он не захватывал ссылки.Поэтому я попытался использовать селен.Теперь я попытался написать этот код.Это дает вывод «Нет».Я никогда раньше не использовал селен, поэтому понятия не имею об этом.Что я должен изменить в этом коде, чтобы он работал и давал желаемые результаты?

import time
import requests
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support.ui import WebDriverWait

base = 'https://metro.co.uk'
url = 'https://metro.co.uk/search/#gsc.tab=0&gsc.q=cybersecurity&gsc.sort=date&gsc.page=7'

browser = webdriver.Safari(executable_path='/usr/bin/safaridriver')
wait = WebDriverWait(browser, 10)
browser.get(url)

link = browser.find_elements_by_class_name('gs-title')
for links in link:
    links.get_attribute('href')
    soup = BeautifulSoup(browser.page_source, 'lxml')
    date = soup.find('span', {'class': 'post-date'})
    title = soup.find('h1', {'class':'headline'})
    content = soup.find('div',{'class':'article-body'})
    print(date)
    print(title)
    print(content)

    time.sleep(3)
browser.close()

Я хочу получить дату, заголовок и содержание всех статей на этой странице, а также на других страницах, например, на страницах № 7–18.

Спасибо.

Ответы [ 2 ]

1 голос
/ 14 июня 2019

Вместо того, чтобы использовать Selenium для получения якорей, я попытался сначала извлечь источник страницы с помощью Selenium, а затем использовал Beautiful Soup.

Итак, чтобы представить его в перспективе: 

import time
import requests
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support.ui import WebDriverWait

base = 'https://metro.co.uk'
url = 'https://metro.co.uk/search/#gsc.tab=0&gsc.q=cybersecurity&gsc.sort=date&gsc.page=7'

browser = webdriver.Safari(executable_path='/usr/bin/safaridriver')
#wait = WebDriverWait(browser, 10) #Not actually required
browser.get(url)
soup = BeautifulSoup(browser.page_source, 'html.parser') #Get the Page Source
anchors = soup.find_all("a", class_ = "gs-title") #Now find the anchors

for anchor in anchors:
    browser.get(anchor['href']) #Connect to the News Link, and extract it's Page Source
    sub_soup = BeautifulSoup(browser.page_source, 'html.parser')
    date = sub_soup.find('span', {'class': 'post-date'})
    title = sub_soup.find('h1', {'class':'post-title'}) #Note that the class attribute for the heading is 'post-title' and not 'headline'
    content = sub_soup.find('div',{'class':'article-body'})
    print([date.string, title.string, content.string])

    #time.sleep(3) #Even this I don't believe is required
browser.close()

С этой модификацией, я полагаю, вы можете получить необходимое содержимое.

0 голосов
/ 14 июня 2019

Вы можете использовать тот же API, что и страницы.Измените параметры, чтобы получить все страницы результатов 

import requests
import json
import re

r = requests.get('https://cse.google.com/cse/element/v1?rsz=filtered_cse&num=10&hl=en&source=gcsc&gss=.uk&start=60&cselibv=5d7bf4891789cfae&cx=012545676297898659090:wk87ya_pczq&q=cybersecurity&safe=off&cse_tok=AKaTTZjKIBzl-5fANH8dQ8f78cv2:1560500563340&filter=0&sort=date&exp=csqr,4229469&callback=google.search.cse.api3732')
p = re.compile(r'api3732\((.*)\);', re.DOTALL)
data = json.loads(p.findall(r.text)[0])
links = [item['clicktrackUrl'] for item in data['results']]
print(links)
...