Поиск по 10.000 URL: s после слова (Battlefield 3 Battlelog) - PullRequest
0 голосов
/ 12 декабря 2011

Мне было интересно, можно ли выполнить поиск по ~ 10k URL-адресов Battlelog по ключевому слову?Страницы не являются .html-страницами, URL выглядит следующим образом: http://battlelog.battlefield.com/bf3/battlereport/show/9693602/1/369698400/.

Если бы страницы были .html, я мог бы просто использовать программное обеспечение, такое как Orbit Downloader или что-то подобное, может быть, wget GNU.Но сейчас нет реальных файлов (насколько я могу судить) для загрузки.

Я хочу искать от http://battlelog.battlefield.com/bf3/battlereport/show/9698003/1/369698400/ до http://battlelog.battlefield.com/bf3/battlereport/show/9708877/1/369698400/, и, конечно, я не хочуэто похоже на ddos-атаку или что-то в этом роде, я не хочу быть забаненным.

Достаточно просто вернуть URL: с совпадениями, мне больше не нужно обрабатывать информацию.

1 Ответ

1 голос
/ 12 декабря 2011

Страница обрабатывает данные JSON. Используемые здесь URL-адреса данных JSON:

http://battlelog.battlefield.com/bf3/battlereport/loadplayerreport/9693602/1/369698400/

http://battlelog.battlefield.com/bf3/battlereport/loadgeneralreport/9693602/1/

...