Мне нужно сканировать данные с этого веб-сайта . Я могу сканировать имя создателя, но не могу сканировать данные в профиле создателя, например количество проектов, созданных создателем. (Если вы щелкнете по имени создателя, появится новое окно, мне нужно сканировать данные в этом окне). Я делаю следующее:
creators = []
n_projects = []
page = requests.get(url=url)
tree = html.fromstring(page.content)
creator = tree.xpath('//*[@id="content-wrap"]/section/div[3]/div[2]/div/div[2]/div[3]/div[2]/div[1]/div/div[2]/div[1]/a/text()')
created = tree.xpath('//*[@id="bio"]/div/div[2]/div[4]/a[1]/@href')
if (len(creator) > 0):
creators.append(str(creator[0]))
else:
creator = tree.xpath('//*[@id="content-wrap"]/section/div[3]/div[2]/div/div[2]/div[2]/div[2]/div[1]/div/div[2]/div[2]/a/text()')
if (len(creator) > 0):
creators.append(str(creator[0]))
else:
creators.append("0")
if (len(created) > 0):
n_projects.append(str(created[0]))
else:
n_projects.append("0")