Beautifulsoup для разбора html таблицы на текст и ссылки

Question

У меня есть таблица с несколькими столбцами. Последний столбец может содержать ссылку на документы, количество ссылок на ячейку не определено (от 0 до бесконечности).

<tbody>
     <tr>
        <td>
          <h2>Table Section</h2>
        </td>
      </tr>
    <tr>
      <td>
        <a href="#">Object 1</a>
      </td>
      <td>Param 1</td>
      <td>
        <span class="text-nowrap">Param 2</span>        
      </td>
      <td class="text-nowrap"></td>
    </tr>

    <tr>
      <td>
        <a href="#">Object 2</a>
      </td>
      <td>Param 1</td>
      <td>
        <span class="text-nowrap">Param 2</span>
      <td>
          <ul>
            <li>
              <small>
                <a href="link_to.doc">Title</a>Notes
              </small>
            </li>

            <li>
              <small>
                <a href="another_link_to.doc">Title2</a>Notes2
              </small>
            </li>
          </ul>
      </td>
    </tr>
</tbody>

Таким образом, базовый анализ не является проблемой. Я застрял с получением этих ссылок с заголовками и примечаниями и добавлением их в список python (или массив numpy).

from bs4 import BeautifulSoup

with open("new 1.html", encoding="utf8") as dump:
    soup = BeautifulSoup(dump, features="lxml")

data = []

table_body = soup.find('tbody')
rows = table_body.find_all('tr')

for row in rows:
    cols = row.find_all('td')
    cols = [ele.text.strip() for ele in cols]
    data.append(cols)
    a = row.find_all('a')
    for ele1 in a:
        if ele1.get('href') != "#":
            data.append([ele1.get('href')])
print(*data, sep='\n')

Вывод:

['Table Section']
['Object 1', 'Param 1', 'Param 2', '']
['Object 2', 'Param 1', 'Param 2', 'TitleNotes\n\t\t\t  \n\n\n\nTitle2Notes2']
['link_to.doc']
['another_link_to.doc']

Есть ли способ добавитьссылки на первый список? Я бы хотел, чтобы список для второго ряда выглядел так:

['Object 2', 'Param 1', 'Param 2', 'Title', 'Notes', 'link_to.doc', ' Title2', 'Notes2', 'another_link_to.doc']

Answer 1

Примерно так

from bs4 import BeautifulSoup


html = '''<tbody>
     <tr>
        <td>
          <h2>Table Section</h2>
        </td>
      </tr>
    <tr>
      <td>
        <a href="#">Object 1</a>
      </td>
      <td>Param 1</td>
      <td>
        <span class="text-nowrap">Param 2</span>        
      </td>
      <td class="text-nowrap"></td>
    </tr>

    <tr>
      <td>
        <a href="#">Object 2</a>
      </td>
      <td>Param 1</td>
      <td>
        <span class="text-nowrap">Param 2</span>
      <td>
          <ul>
            <li>
              <small>
                <a href="link_to.doc">Title</a>Notes
              </small>
            </li>

            <li>
              <small>
                <a href="another_link_to.doc">Title2</a>Notes2
              </small>
            </li>
          </ul>
      </td>
    </tr>
</tbody>'''


soup = BeautifulSoup(html, features="lxml")
smalls = soup.find_all('small')
links = [s.contents[1].attrs['href'] for s in smalls]
print(links)

вывод

['link_to.doc', 'another_link_to.doc']