Webscraper в python, где я предоставляю веб-страницу со списком ссылок, которые скребок затем посещает индивидуально - PullRequest
0 голосов
/ 18 февраля 2020

Я новичок в программировании и пытаюсь сделать скребок. На данный момент я использую библиотеку запросов и BeautifulSoup. Я предоставляю программе ссылку и могу извлечь любую информацию, которую захочу, с этой единственной веб-страницы. sh я пытаюсь выполнить следующим образом ... Я хочу предоставить программе веб-страницу, которую я предоставляю - это результат поиска, в котором есть список ссылок, по которым можно щелкнуть. Я хочу, чтобы программа могла получать ссылки на эти результаты поиска, а затем собирать некоторую информацию с каждой из этих указанных c страниц главной веб-страницы, которую я предоставляю.

Если кто-то может дать мне какое-то руководство о том, как я могу достичь этого, я был бы очень признателен! Есть ли другие библиотеки, которые я должен использовать? Есть ли какой-нибудь материал для чтения, на который вы могли бы отослать меня, может быть, видео?

1 Ответ

0 голосов
/ 19 февраля 2020

Вы можете поместить все URL-ссылки в список, а затем включить функцию отправки запросов l oop. Для этого используйте пакет requests или urllib.

Для логи поиска c вам нужно искать тег <a> со свойством href.

...