Я пытаюсь получить href и img src для раздела Объявления на www.jtinsight.com.Так как она выглядит как динамическая страница, я не могу определить правильные теги или код для их выбора.
Я недавно задал вопрос об этой же странице, и мне был услужливо предоставлен ответ относительно времени и извлечения заголовков.я был после.Я изменил код так, чтобы он собирал заголовки и сумел извлечь все URL на странице, однако, я только после тех, которые относятся к секретному разделу - это я не могу решить.При попытке извлечь информацию из div 'mainCatEntry'i не может получить URl или ссылку img src для извлечения.
from selenium import webdriver
import time
# The website to scrape
url = "https://www.jtinsight.com/JTIRA/JTIRA.aspx#!/main"
# Creating the WebDriver object using the ChromeDriver
driver = webdriver.Chrome()
# Directing the driver to the defined url
driver.get(url)
time.sleep(3)
# Locate the categories
categories = driver.find_elements_by_xpath('//div[@class="mainCatEntry"]')
# Print out all categories on current page
num_page_items = len(categories)
print(num_page_items)
for headers in range(num_page_items):
print(categories[headers].text)
# Locate all the links
links = driver.find_elements_by_xpath('//a[@href]')
list_items = len(links)
print(list_items)
# identify the Classifieds categories links
for classifieds in links:
print(classifieds.get_attribute('href'))
# Clean up (close browser once task is completed)
time.sleep(2)
driver.close()
Я, безусловно, новичок во всем этом и, возможно, поступаю совершенно неправильно, поэтому любые предложения или указатели будут с благодарностью оценены.