Попытка очистить сайт, который требует входа - PullRequest
0 голосов
/ 14 января 2019

, так что я новичок в этом и уже почти неделю пытаюсь проанализировать сайт, который я использую для сбора аналитических данных (представьте, что это Google Analytics). Я попытался поиграться с xpath, чтобы выяснить, на что способен этот скрипт, но все, что я получаю, это «[]» в качестве вывода после его запуска. Пожалуйста, помогите мне найти то, что мне не хватает.

import requests
from lxml import html
#credentials
payload = {
    'username': '<my username>',
    'password': '<my password>',
    'csrf-token': '<auth token>'
}
#open a session with login
session_requests = requests.session()

login_url = '<my website>'
result = session_requests.get(login_url)

#passing the auth token

tree = html.fromstring(result.text)
authenticity_token = list(set(tree.xpath('//input[@name=\'form_token\']/@value')))[0]

result = session_requests.post(
    login_url,
    data=payload,
    headers=dict(referer=login_url)
)
#scrape the analytics dashboard from this event link
url = '<my analytics webpage url>'
result = session_requests.get(
    url,
    headers=dict(referer=url)
)
#print output using xpath to find and load what i need
trees = html.fromstring(result.content)
bucket_names = trees.xpath("//*[@id='statistics_dashboard']/div[1]/text()")

print(bucket_names)

print(result.ok)
print(result.status_code)

.......... это то, что я получаю в результате

[]
True
200

Процесс завершен с кодом выхода 0

это большой шаг для меня, потому что я получаю так много ошибок, чтобы добраться до этой точки.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...