Beautifulsoup запросы. Пост не соскабливается правильно

Question

Я пытаюсь очистить сайт, который требует входа в систему:

login_url = 'https://www.spotrac.com/signin/'
data = {
        'email': 'a****@gmail.com',
        'password': '******'
}

with requests.Session() as s:
    response = requests.post(login_url , data)
    index_page= s.get('https://www.spotrac.com/nba/contracts/breakdown/2010/')
    soup = BeautifulSoup(index_page.text, 'html.parser')

Этот код очистит страницу, но только если вы не вошли в систему - ie нет ни одного из возвращаемые данные, которые вы ожидаете с точным логином.

Куда я здесь не так?

Answer 1

Я думаю, что вы отправляете свое имя пользователя и пароль не по адресу. https://www.spotrac.com/signin - это страница с полями входа в систему, но https://www.spotrac.com/signin/submit/ - это страница, на которую отправляются ваши учетные данные, когда вы нажимаете кнопку Отправить.

Мне не удалось протестировать этот код, потому что я не хочу заплатить 30

login_url = 'https://www.spotrac.com/signin/submit/'
data = {
        'email': 'a****@gmail.com',
        'password': '******'
}

with requests.session() as s:
    response = requests.post(login_url , data)
    index_page= s.get('https://www.spotrac.com/nba/contracts/breakdown/2010/')
    soup = BeautifulSoup(index_page.text, 'html.parser')