Почему я получаю сообщение об ошибке при попытке получить значения href после выполнения команды «выбрать», чтобы поместить все теги «a» в список? BeautifulSoup Selenium Python

Question

Я пытаюсь получить все значения href со страницы и поместить в список. Вот код, который я использую, обратите внимание, что soup.select ("a") успешно помещает все теги, включая их hrefs, в список с именем elems:

driver.get(your_new_url)
html = driver.page_source
soup = BeautifulSoup(html, 'html.parser')

elems = soup.select("a")
print(elems)
time.sleep(20)

links = [elem.get_attribute('href') for elem in elems]

print(links)

driver.quit()

Я получаю следующую ошибку:

Traceback (последний вызов был последним): файл "find.py", строка 31, в links = [elem.get_attribute ('href') для elem in elems] Файл "find.py", строка 31, в links = [elem.get_attribute ('href') для элемента в элементах] TypeError: объект 'NoneType' не может быть вызван

Answer 1

#get_attribute is used if you are working with Selenium object .

links = [elem.get('href') for elem in elems]