Извлечение очищенных HTML-данных BeautifulSoap

Question

Я использую BeautifulSoap и Python для очистки данных с этого веб-сайта Использование find_all Я извлек строки таблицы в таблицу, теперь я хотел бы извлечь данные таблицы длякаждая строка и добавить каждую строку данных их как строки в массиве.Например:

[12:55, Beverello, Ischia, http://alilauronew.forth-crs.gr/italian_b2c 
/npgres.exe?PM=BM;...., ....]

Любая помощь о том, как это сделать, приветствуется.Это пример извлеченных данных:

   [<tr class="grey1">
        <td class="orario">12:55</td>
        <td class="aL">Beverello</td>
        <td class="aL">Ischia</td>
        <td>
            <div class="circle green">
               <span class="tt-container">
                   <span class="tt-arrow"></span>
                   <span class="tt-text">corsa regolare</span>
               </span>
            </div>
        </td>
       <td><a href="http://alilauronew.forth-crs.gr/italian_b2c     
            /npgres.exe?PM=BM" target="_blank"><img src="/templates 
            /frontend/images/carrello.png"/></a></td>
 </tr>
   [<tr class="grey1">
        <td class="orario">14:45</td>
        <td class="aL">Ischia</td>
        <td class="aL">Beverello</td>
        <td>
            <div class="circle green">
               <span class="tt-container">
                   <span class="tt-arrow"></span>
                   <span class="tt-text">corsa regolare</span>
               </span>
            </div>
        </td>
       <td><a href="http://alilauronew.forth-crs.gr/italian_b2c     
            /npgres.exe?PM=BM" target="_blank"><img src="/templates 
            /frontend/images/carrello.png"/></a></td>
 </tr>

Answer 1

Вот полностью рабочий пример, список data будет содержать все, что вы хотели без шума (пустые строки и т. Д.)

import requests
from bs4 import BeautifulSoup

response = requests.get('http://www.alilauro.it').text
bs = BeautifulSoup(response)

data = []
# I don't want to scrape the headers, so I'm slicing the list, emitting the first element
no_header = list(bs.select('#partenze tr'))[1:]
for tr in no_header:
    td = tr.select('td')
    data.append({
        'ORA':td[0].text,
        'PARTENZA DA':td[1].text,
        'ARRIVO A':td[2].text,
        'ACQUISTA':td[4].select('a')[0].attrs['href']
    })

print(data)

Примечания:

• Я использовал requests библиотека для выполнения запроса http, вы можете использовать все, что захотите
• Я использовал селекторы css, используя встроенную в select команду bs, просто личный выбор

Answer 2

from bs4 import BeautifulSoup
html="""
<tr class="grey1">
        <td class="orario">12:55</td>
        <td class="aL">Beverello</td>
        <td class="aL">Ischia</td>
        <td>
            <div class="circle green">
               <span class="tt-container">
                   <span class="tt-arrow"></span>
                   <span class="tt-text">corsa regolare</span>
               </span>
            </div>
        </td>
       <td><a href="http://alilauronew.forth-crs.gr/italian_b2c
            /npgres.exe?PM=BM" target="_blank"><img src="/templates
            /frontend/images/carrello.png"/></a></td>
 </tr>
"""
soup = BeautifulSoup(html, "lxml")
row=[td.text.strip() for td in soup.findAll('td')]
print(row)

Выход:

['12:55', 'Beverello', 'Ischia', 'corsa regolare', '']