Есть ли способ использовать urllib, чтобы открыть один сайт, пока в нем не указан указанный объект? - PullRequest
0 голосов
/ 07 декабря 2011

Я использую urllib, чтобы открыть один сайт и получить на нем некоторую информацию.

Есть ли способ "открыть" этот сайт только в той части, которая мне нужна, и отменить все остальные (я имею в виду, не открывать / загружать остальные)?

Ответы [ 2 ]

0 голосов
/ 07 декабря 2011

Вы должны иметь возможность читать (в байтах) вместо read (), это будет считывать количество байтов вместо всего. Затем добавьте к уже загруженным байтам и посмотрите, содержит ли он то, что вы ищете. Тогда вы сможете остановить загрузку с помощью .close ().

0 голосов
/ 07 декабря 2011

Я не уверен, что вы пытаетесь сделать.Если вы просто пытаетесь разобрать сайт, чтобы найти полезную «информацию», то я рекомендую использовать библиотеку BeautifulSoup .Эта библиотека позволяет легко сохранять определенные части сайта, отбрасывая остальные.

Если, тем не менее, вы пытаетесь сэкономить пропускную способность загрузки, загружая только часть сайта, вам потребуется проделать гораздо больше работы.,Если это так, скажите, пожалуйста, в своем вопросе, и я обновлю ответ.

...