Веб-парсинг списка HTML с Python

Question

Я пытаюсь очистить список html в python, чтобы вернуть ссылку на список.

Вот html:

<ul class="sub-menu">
<li class="menu-item-362992" id="menu-item-362993"><a href="https://www.test.com/">test</a></li>
<li class ="menu-item-362994" id="menu-item-362995"><a href="https://www.test2.com/">test2</a></li>
<li class ="menu-item-362995" id="menu-item-362996"><a href="https://www.test3.com/">test3</a></li>
</ul>

Как мне извлечь href ссылку каждого из них?

quotes = []

table = table.find('ul', attrs={'class': 'sub-menu'})

for row in table.find_all('li', attrs={'class'}):
    quote = {}
    quote['url'] = row.a['href']
    quotes.append(quote)

for i in quotes:
   print(i)

Как мне вернуть каждый класс li без указания индивидуального идентификатора?

Answer 1

IIU C, вы можете попробовать это:

quotes = []

table = table.find('ul', attrs={'class': 'sub-menu'})

for row in table.find_all('li'):
    quote = {}
    quote[row.attrs['class'][0]] = row.a['href']
    quotes.append(quote)
#Same as: (list comprehension version) 
#table = table.find('ul', attrs={'class': 'sub-menu'})

#quotes=[{row.attrs['class'][0]:row.a['href']} for row in table.find_all('li')]

Вывод:

quotes
[{'menu-item-362992': 'https://www.test.com/'}, {'menu-item-362994': 'https://www.test2.com/'}, {'menu-item-362995': 'https://www.test3.com/'}]

Или, если вам нужны отдельные списки:

table = table.find('ul', attrs={'class': 'sub-menu'})

quotes=[{'url':row.a['href']} for row in table.find_all('li')]

ilclassnames=[row.attrs['class'][0] for row in table.find_all('li')]

Вывод:

quotes
[{'url': 'https://www.test.com/'}, {'url': 'https://www.test2.com/'}, {'url': 'https://www.test3.com/'}]

ilclassnames
['menu-item-362992', 'menu-item-362994', 'menu-item-362995']

Answer 2

Это просто способ их найти, но я не знаю, как вы хотите их выделить или перечислить.

soup = BeautifulSoup(htmlresponse, 'lxml')
links = soup.select('ul.sub-menu li a')
for link in links:
    print('url:', link.get('href'))
liclass = soup.select('ul.sub-menu li')
for lc in liclass:
    print(lc.get('class'))

Answer 3

Попробуйте:

quotes = []

for row in table.find_all('li'):
    quote = {}
    quote['url'] = row.a['href']
    quotes.append(quote)