Какие заголовки мне не хватает для очистки данных статистики NBA? - PullRequest
Новая
       64

Какие заголовки мне не хватает для очистки данных статистики NBA?

0 голосов
/ 24 января 2020

Через пару дней go в Power BI мне удалось создать веб-запрос, который позволил мне извлечь данные JSON из Статистика игрока NBA без использования каких-либо заголовков. На сегодняшний день я заметил, что запрос больше не работает; Я получаю следующее сообщение об ошибке: 

DataSource.Error: The underlying connection was closed. An unexpected error occurred on a receive.
Details: https://stats.nba.com/stats/leaguedashplayerstats?College=&Conference=&Country=&DateFrom=&DateTo=&Division=&DraftPick=&DraftYear=&GameScope=&GameSegment=&Height=&LastNGames=0&LeagueID=00&Location=&MeasureType=Base&Month=0&OpponentTeamID=0&Outcome=&PORound=0&PaceAdjust=N&PerMode=PerGame&Period=0&PlayerExperience=&PlayerPosition=&PlusMinus=N&Rank=N&Season=2019-20&SeasonSegment=&SeasonType=Regular+Season&ShotClockRange=&StarterBench=&TeamID=0&TwoWay=0&VsConference=&VsDivision=&Weight=

В связанной заметке я имел обыкновение получать данные JSON из Статистика команды NBA , используя https://stats.nba.com/ в качестве Referer заголовок, но теперь он выдает то же сообщение об ошибке, как показано выше. Чтобы попытаться обойти эти ошибки, я попытался ввести следующие заголовки: 

Host: stats.nba.com
Connection: keep-alive
Accept: application/json
x-nba-stats-token: true
User-Agent: Chrome/79.0.3945.130
x-nba-stats-origin: stats
Referer: https://stats.nba.com/
Accept-Encoding: gzip, deflate, br
Accept-Language: en-US,en;q=0.9

Когда я отправляю запрос с указанными выше заголовками, он возвращает следующее сообщение об ошибке: 

Unable to connect

We encountered an error while trying to connect.

Details: "The 'Host' header must be modified using the appropriate property or method.
Parameter name: name"

У меня закончились идеи о том, как я могу правильно выполнить запрос. Я действительно плохо знаком с веб-скребком и HTML - я пытался учить себя. Любая помощь очень ценится.

1 Ответ

1 голос
/ 24 января 2020

Все заголовки для запроса GET: 

Host: stats.nba.com
Connection: keep-alive
Pragma: no-cache
Cache-Control: no-cache
Accept: application/json, text/plain, */*
x-nba-stats-token: true
X-NewRelic-ID: VQECWF5UChAHUlNTBwgBVw==
DNT: 1
User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36
x-nba-stats-origin: stats
Sec-Fetch-Site: same-origin
Sec-Fetch-Mode: cors
Referer: https://stats.nba.com/teams/traditional/?sort=TEAM_NAME&dir=-1
Accept-Encoding: gzip, deflate, br
Accept-Language: en-US;q=0.9,en;q=0.7

URL: 

https://stats.nba.com/stats/leaguedashteamstats?Conference=&DateFrom=&DateTo=&Division=&GameScope=&GameSegment=&LastNGames=0&LeagueID=00&Location=&MeasureType=Base&Month=0&OpponentTeamID=0&Outcome=&PORound=0&PaceAdjust=N&PerMode=PerGame&Period=0&PlayerExperience=&PlayerPosition=&PlusMinus=N&Rank=N&Season=2019-20&SeasonSegment=&SeasonType=Regular+Season&ShotClockRange=&StarterBench=&TeamID=0&TwoWay=0&VsConference=&VsDivision=

Обязательные заголовки: 

Accept: application/json, text/plain, */*
User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36
x-nba-stats-origin: stats
Sec-Fetch-Site: same-origin
Sec-Fetch-Mode: cors
Referer: https://stats.nba.com/teams/traditional/?sort=TEAM_NAME&dir=-1

Не уверен, если требуется: 

x-nba-stats-token: true
X-NewRelic-ID: VQECWF5UChAHUlNTBwgBVw==

Возможные проблемы :

  1. Вы обнаружены как бот и заблокированы

  2. Заголовок X-NewRelic-ID is токен (может быть с таймаутом). Вероятно, он назначается с использованием различных параметров, таких как IP, User-Agent и других.
    Вы можете получить fre sh X-NewRelic-ID в HTML ответе с запросом GET на https://stats.nba.com/. Вот часть из HTML с xpid токеном: <script type="text/javascript">(window.NREUM||(NREUM={})).loader_config={xpid:"VQECWF5UChAHUlNTBwgBVw==",licenseKey:"09f0cb5c68",applicationID:"76210961"};

...