Pandas Dataframe перезаписывается с каждым циклом

Question

Я пытаюсь добавить фрейм данных с каждым циклом. К сожалению, созданный список всегда перезаписывается новым выводом ...

 for x in link_href_list: 
    urllib.request.urlopen(x)
    html = urlopen(x)
    bs = BeautifulSoup(html, "lxml")    
    table=bs.find('tbody')
    rows = table.tr.next_siblings
    list_rows = []
    for row in rows:
        a=row.find('td').get_text().strip()
        list_rows.append(a)
    list_rows = pd.Series(list_rows)
list_rows.to_frame()

Мне нужен фрейм данных, который создает новый столбец с пандами в каждой итерации ...

Answer 1

Смотрите, если ваши значения списка имеют одинаковую длину в каждой итерации, тогда это не должно быть таким сложным. Все, что вам нужно сделать, это при создании Dataframe, предоставить имена столбцов, и это должно быть хорошо

pd.DataFrame(list_rows, columns=('Col1', 'Col2', 'Col3'))

Вам не нужно создавать значения каждой последующей итерации в серии, то есть вам не нужна эта строка:

list_rows = pd.Series(list_rows)

Надеюсь, это поможет вам. Если в этом случае ваше число значений будет отличаться каждый раз, то, возможно, придется обрабатывать его по-другому.