Я пытаюсь очистить URL проекта от Ind iegogo, но у меня не получилось после нескольких часов. Я не могу их поковырять ни с помощью XPath, ни с Beautifulsoup. Вывод следующего кода не содержит нужную мне информацию:
soup.find_all("div")
Кроме того, Beutifulsoup не работал:
import requests
from bs4 import BeautifulSoup
url = 'https://www.indiegogo.com/explore/all?project_type=campaign&project_timing=ending_soon&sort=trending'
page = requests.get(url)
soup = BeautifulSoup(page.text, 'html.parser')
project_name_list = soup.find(class_='exploreDetail-campaigns row')
project_name_list_items = project_name_list.find_all('a')
print(project_name_list_items)
for project_name in project_name_list_items:
links = project_name.get('href')
print(links)
На самом деле следующая команда ничего не возвращает.
soup.find(class_='exploreDetail-campaigns row')
Как мне узнать, находится ли сайт в формате javascript или в другом формате?