Здравствуйте, у меня есть веб-сайт для чистки. Я веб-скребок включить паук / гусеничный. Сначала я провожу исследование, используя веб-сайт, затем собираю первую ссылку на результат и затем очищаю содержание ссылки. Это хорошо работает. Как получить a_tag для определенного атрибута?
def search(terme):
url = f'https://www.verif.com/recherche/{terme}/1/ca/d/?ville=null'
response = requests.get(url, headers = {'User-Agent':'Mozilla/5.0'})
response.raise_for_status()
return terme, response.text
def spider(terme):
try:
terme, html = search(terme)
soup = bs(html,'lxml')
a_tag = soup.select_one('td.verif_col1 a[href]')
if a_tag is None:
link = ''
else:
link = f'https://www.verif.com{a_tag["href"]}'
except Exception as e:
print(e)
link = ''
finally:
time.sleep(10)
return link
Этот код возвращает только первый результат. Я бы хотел получить результаты в таблице, соответствующие искомому термину.