Сбор данных с URL-адреса веб-сайта .ASPX с Python - PullRequest
Новая
       29

Сбор данных с URL-адреса веб-сайта .ASPX с Python

0 голосов
/ 10 июля 2020

У меня есть stati c .aspx url, который я пытаюсь очистить. Все мои попытки дают необработанные html данные обычного веб-сайта вместо данных, которые я запрашиваю.

Насколько я понимаю, заголовки, которые я использую (которые я нашел из другого сообщения), верны и могут быть обобщены: 

import urllib.request
from bs4 import BeautifulSoup

headers = {
    'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.17 (KHTML, like Gecko)  Chrome/24.0.1312.57 Safari/537.17',
    'Content-Type': 'application/x-www-form-urlencoded',
    'Accept-Encoding': 'gzip,deflate,sdch',
    'Accept-Language': 'en-US,en;q=0.8',
    'Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3'
}

class MyOpener(urllib.request.FancyURLopener):
    version = 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.17 (KHTML, like Gecko) Chrome/24.0.1312.57 Safari/537.17'

myopener = MyOpener()
url = 'https://www.mytaxcollector.com/trSearch.aspx'
# first HTTP request without form data
f = myopener.open(url)
soup_dummy = BeautifulSoup(f,"html5lib")
# parse and retrieve two vital form values
viewstate = soup_dummy.select("#__VIEWSTATE")[0]['value']
viewstategen = soup_dummy.select("#__VIEWSTATEGENERATOR")[0]['value']

Попытка ввести данные формы не приводит к тому, что ничего не происходит: 

formData = (
    ('__VIEWSTATE', viewstate),
    ('__VIEWSTATEGENERATOR', viewstategen),
    ('ctl00_contentHolder_trSearchCharactersAPN', '631091430000'),
    ('__EVENTTARGET', 'ct100$MainContent$calculate')
)

encodedFields =  urllib.parse.urlencode(formData)
# second HTTP request with form data
f = myopener.open(url, encodedFields)


soup = BeautifulSoup(f,"html5lib")
trans_emissions = soup.find("span", id="ctl00_MainContent_transEmissions")
print(trans_emissions.text)

Это дает исходный код html почти такой же, как у переменной "soup_dummy". Но я хочу видеть данные отправляемого поля ('ctl00_contentHolder_trSearchCharactersAPN', '631091430000') (это поле «номер посылки».

Я был бы очень признателен за помощь. Во всяком случае, ссылку Мне было бы здорово написать хороший пост о HTML запросах (тот, который не только объясняет, но и фактически проходит через парсинг aspx).

1 Ответ

1 голос
/ 11 июля 2020

Чтобы получить результат по номеру посылки, ваши параметры должны несколько отличаться от тех, которые вы уже пробовали. Более того, вы должны использовать этот URL https://www.mytaxcollector.com/trSearchProcess.aspx для отправки почтовых запросов.

Рабочий код: 

from urllib.request import Request, urlopen
from urllib.parse import urlencode
from bs4 import BeautifulSoup

url = 'https://www.mytaxcollector.com/trSearchProcess.aspx'

payload = {
    'hidRedirect': '',
    'hidGotoEstimate': '',
    'txtStreetNumber': '',
    'txtStreetName': '',
    'cboStreetTag': '(Any Street Tag)',
    'cboCommunity': '(Any City)',
    'txtParcelNumber': '0108301010000',  #your search term
    'txtPropertyID': '',
    'ctl00$contentHolder$cmdSearch': 'Search'
}

data = urlencode(payload)
data = data.encode('ascii')
req = Request(url,data)
req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 6.1; ) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36')
res = urlopen(req)
soup = BeautifulSoup(res.read(),'html.parser')
for items in soup.select("table.propInfoTable tr"):
    data = [item.get_text(strip=True) for item in items.select("td")]
    print(data)
...