Разбор удаленной сети с помощью Python BeautifulSoup

Question

https://stackoverflow.com/a/64983/468251 - Здравствуйте, у меня есть вопрос об этом коде, как он работал с URL-адресом удаленного веб-сайта и как получил значение = fooId ['значение'] со всех входов, а не только с первого?

Answer 1

В примере используется локальный файл.Если вы хотите использовать удаленный сайт, вам нужно скачать файл с сервера и проанализировать html.

Вы можете посмотреть request или urllib2 .

Надеюсь, это поможет

Answer 2

Когда вы анализируете URL в интернете, вам нужно сначала найти способ загрузки html-содержимого страницы. Есть отличные библиотеки, такие как запросы, которые, как говорят, лучше всего подходят для python. Скажем, вы хотите разобрать https://stackoverflow.com/

import requests
response = requests.get("https://stackoverflow.com/")
page_html = response.text

page_html - это html-страница в строке python, тогда вы можете рассматривать его как локальный html-файл и анализировать их любым способом.

Что касается получения всех вхождений паттерна, вы можете сделать soup.findAll('input',name='fooId',type='hidden') вместо soup.find(). Soup.findAll вернет список всех вхождений.