прекрасный суп получить html данные формы, возвращенные после отправки формы

Question

У меня есть ссылка, которая является результатом отправки формы html:

https://www.taxpayerservicecenter.com/RP_Detail.jsp?ssl=4204%20%20%20%200084

Это публичные c налоговые отчеты. Я хотел бы получить все данные в возвращенной таблице:

Используя инспекцию в браузере, я думаю, что данные таблицы находятся в таких элементах:

<td class="RPRowData" width="70%">MONROE 1803 LLC</td>

Когда я использую красивый суп, я не могу получить доступ к этому классу тд. Я вижу:

<form action="./RP_Results.jsp" id="SearchForm" method="post" name="SearchForm" onsubmit="return validateForm(document.SearchForm)">

Есть идеи, как я могу получить эти данные таблицы? Это то, что я пытался.

from bs4 import BeautifulSoup
import requests

page = requests.get("https://www.taxpayerservicecenter.com/RP_Detail.jsp?ssl=4204%20%20%20%200084")
page

soup = BeautifulSoup(page.content,'lxml')

soup

Answer 1

Вам потребуется установить заголовок JSESSIONID Cookie в запросе на получение, чтобы иметь возможность "видеть" таблицу

Измените свой запрос на получение следующим образом

page = requests.get(url, headers={
    'Cookie': 'JSESSIONID=11qfsCuAhlev3j943gEn8bf-CBfH8Ta_z858JNR9w__7PJOfxkWr!-965451614'
})

Примечание: вы можете получить JSESSIONID с помощью Chrome / Firefox Dev Tools на вкладке "Сеть" и щелкнуть по первому запросу