Как удалить двухуровневую веб-страницу с веб-сайта - PullRequest
1 голос
/ 26 сентября 2019

Я хотел бы спросить вас, как очищать веб-страницы, используя python + Красивый суп или Scrapy, который содержит, например, объявления о вакансиях, если есть страницы 2 уровня, краткое описание + ССЫЛКА на полную информацию о вакансии?Мне нужно собрать данные из заголовков объявлений о вакансиях, затем углубиться, извлечь полное описание и добавить эти данные в базу данных или текстовый файл?проблема переходит на второй уровень, где живет полное описание и получают все детали, включая ссылки на изображения, если таковые имеются ... Кто-нибудь сделал это?

Заранее спасибо.

1 Ответ

0 голосов
/ 26 сентября 2019

проверка:

если я пойму, что вы хотите сделать, я сохраню то, что вам нужно... companyName, описание, вторичные ссылки и т. д.

, затем для каждой сохраненной компании сделайте запрос к secondLinks и сохраните / установите информацию

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...