Как разобрать бесконечную страницу прокрутки (например, Wallbase.cc/search/sky) с помощью Python? - PullRequest
6 голосов
/ 16 ноября 2011

Не уверен, что с Mechanize или BeautifulSoup есть что-то, что могло бы помочь. Любые предложения будут с благодарностью!

1 Ответ

3 голосов
/ 16 ноября 2011

Механизированный и Красивый суп не может взаимодействовать с JavaScript, используемым для бесконечной прокрутки.

Селеновая банка.

Кроме того, если бы вы просматривали запросы ajax при использовании бесконечной прокрутки, вы бы увидели запрос к http://wallbase.cc/search/160 с данными запроса:

query:sky
board:123
res_opt:eqeq
res:0x0
aspect:0
nsfw_sfw:1
nsfw_sketchy:0
nsfw_nsfw:0
thpp:32
orderby:relevance
orderby_opt:desc

160 соответствует диапазону изображения, поэтому запрос до этого был wallbase.cc/searc/128.

...