, так что я новичок в этом и уже почти неделю пытаюсь проанализировать сайт, который я использую для сбора аналитических данных (представьте, что это Google Analytics).
Я попытался поиграться с xpath, чтобы выяснить, на что способен этот скрипт, но все, что я получаю, это «[]» в качестве вывода после его запуска.
Пожалуйста, помогите мне найти то, что мне не хватает.
import requests
from lxml import html
#credentials
payload = {
'username': '<my username>',
'password': '<my password>',
'csrf-token': '<auth token>'
}
#open a session with login
session_requests = requests.session()
login_url = '<my website>'
result = session_requests.get(login_url)
#passing the auth token
tree = html.fromstring(result.text)
authenticity_token = list(set(tree.xpath('//input[@name=\'form_token\']/@value')))[0]
result = session_requests.post(
login_url,
data=payload,
headers=dict(referer=login_url)
)
#scrape the analytics dashboard from this event link
url = '<my analytics webpage url>'
result = session_requests.get(
url,
headers=dict(referer=url)
)
#print output using xpath to find and load what i need
trees = html.fromstring(result.content)
bucket_names = trees.xpath("//*[@id='statistics_dashboard']/div[1]/text()")
print(bucket_names)
print(result.ok)
print(result.status_code)
..........
это то, что я получаю в результате
[]
True
200
Процесс завершен с кодом выхода 0
это большой шаг для меня, потому что я получаю так много ошибок, чтобы добраться до этой точки.