Python Selenium Получить все атрибуты "href" - PullRequest
Новая
       13

Python Selenium Получить все атрибуты "href"

0 голосов
/ 19 января 2019

Как я получу все атрибуты "href" для этих заголовков "h2" на этой странице ? 

<h2 class="entry-title">
<a href="http://www.allitebooks.com/deep-learning-with-python-2/" rel="bookmark">Deep Learning with Python</a>
</h2>

То, что я пробовал, не получает href, это: 

title = driver.find_elements_by_class_name('entry-title')
title[0].get_attribute('href')

Не удалось получить ссылки для тега "a". И если я найду все элементы тега «a», он будет возвращать каждый href на странице (это не то, что я хотел). Я хочу вернуть только заголовки, как указано выше, но иметь возможность получить их атрибуты URL "href".

Ответы [ 2 ]

0 голосов
/ 19 января 2019

Здесь код получения всех книг со всех страниц: 

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

driver = webdriver.Chrome()
baseUrl = "http://www.allitebooks.com/page/1/?s=python"
driver.get(baseUrl)

# wait = WebDriverWait(driver, 5)
# wait.until(EC.visibility_of_element_located((By.CSS_SELECTOR, ".search-result-list li")))

# Get last page number
lastPage = int(driver.find_element(By.CSS_SELECTOR, ".pagination a:last-child").text)

# Get all HREFs for the first page and save them in hrefs list
js = 'return [...document.querySelectorAll(".entry-title a")].map(e=>e.href)'
hrefs = driver.execute_script(js)

# Iterate throw all pages and get all HREFs of books
for i in range(2, lastPage):
    driver.get("http://www.allitebooks.com/page/" + str(i) + "/?s=python")
    hrefs.extend(driver.execute_script(js))

for href in hrefs:
    print(href)
0 голосов
/ 19 января 2019

Селен может быть излишним для того, что вам нужно, старый добрый BeautifulSoup также добьется цели. 

import urllib.request, bs4
body = urllib.request.urlopen(urllib.request.Request("http://www.allitebooks.com/page/1/?s=python", headers={"User-Agent": "Mozilla"})).read().decode("utf-8")
soup = bs4.BeautifulSoup(body)
for element in soup.find_all("h2", class_="entry-title"):
    for link in element.find_all("a"):
        print(link.get("href"))
...