Отсутствующие элементы таблицы при соскабливании - PullRequest
Новая
       7

Отсутствующие элементы таблицы при соскабливании

0 голосов
/ 28 февраля 2019

URL: https://stats.nba.com/player/1628381/defense-dash/

Попытка получить: 

 `<table>
  <tbody>
    <!----><tr data-ng-repeat="(i, row) in page" index="0">
      <td class="player">Overall</td>
      <td>45</td>
      <td>45</td>
      <td>5.7</td>
      <td>12.3</td>
      <td>46.6</td>
      <td>100%</td>
      <td>46.7</td>
      <td>-0.1</td>
    </tr><!---->
  </tbody>
</table> `

Моя кодировка: 

 public static void getData(String url, String Name, int ID) throws 
IOException
{
    String html = Jsoup.connect(url).execute().body();
    html = html.replaceAll("<!---->", "");
    html = html.replaceAll("<!--", "");
    html = html.replaceAll("-->", "");
    Document doc = Jsoup.parse(html);
    Elements tableElements = doc.select("table");

    System.out.println("Elements " + tableElements);

    for (Element tableElement : tableElements)
    {
        String tableId = tableElement.id();
        if (tableId.isEmpty()) {
            continue;
    }
        String fileName = "table" + Name + tableId + ID + ".csv";
        System.out.println(fileName);
        FileWriter writer = new FileWriter(new File("C:\\Users\\noman\\eclipse-workspace\\Senior Project\\src\\", fileName));

        //System.out.println(doc);
        Elements tableRowElements = tableElement.select(":not(thead) tr td");

        for (int i = 0; i < tableRowElements.size(); i++) {
            Element row = tableRowElements.get(i);
            Elements rowItems = row.select("td");
            for (int j = 0; j < rowItems.size(); j++) {
                writer.append(rowItems.get(j).text());

                if (j != rowItems.size() - 1) {
                    writer.append(',');
                }
            }
            writer.append('\n');
        }

Проблема в том, что элементы не найдены.этот же код прекрасно работает на другом сайте, который (на первый взгляд) не имеет различий в том, как они хранят данные

Есть ли что-то другое на этом сайте, предотвращающее перебор веб-страниц?или, может быть, небольшая разница?

Обратите внимание, что предоставленный HTML-код является сокращенной версией

1 Ответ

0 голосов
/ 28 февраля 2019

Как сказано в комментариях, данные, которые вы ищете, загружаются динамически, но вы можете получить их с помощью простого GET запроса по этой ссылке -
https://stats.nba.com/stats/playerdashptshotdefend?DateFrom=&DateTo=&GameSegment=&LastNGames=0&LeagueID=00&Location=&Month=0&OpponentTeamID=0&Outcome=&PORound=0&PerMode=PerGame&Period=0&PlayerID=1628381&Season=2018-19&SeasonSegment=&SeasonType=Regular+Season&TeamID=0&VsConference=&VsDivision=
EDIT
Чтобы найти эту ссылку, я использовал инструменты разработчика браузера и проверил на xhr запросы.
Вы можете видеть, что ссылка включает в себя несколько параметров, среди которых playerID, который идентичен номеруэто появляется в вашей начальной ссылке.Изменяя его значение, вы можете получить статистику других игроков.

...