Последний шаг Webscrape, чтобы взять элементы к pandas df

Question

Я использую webscrape и столкнулся с проблемами в последнем процессе преобразования текста / ссылки в таблицу pd для экспорта в Excel. У меня есть два столбца: заголовок и поиск (ссылка), и я использовал следующий код:

df = []

for link in soup.find_all('a'):
     title = link.get('title')
     seek = link.get('href')
     df.append(title)
     df.append(seek)

print(df)

Затем df возвращает вывод, как показано ниже, который все в одной строке:

'title text' , 'seek link', 'title text', 'seek link', 'title text' , 'seek link' etc etc

Какой будет моя следующая строка кода для создания pandas кадра данных со столбцами «заголовок», а затем «поиск» ссылки? Так что это выглядит так:

Col 1 = title        |      Col 2 =seek
title text           |      seek link
title text           |      seek link
title text           |      seek link

Большое спасибо!

Answer 1

Сохраните заголовок и выполните поиск независимо, а затем создайте фрейм данных.

Title_list = []
Seek_list = []

for link in soup.find_all('a'):
     title = link.get('title')
     seek = link.get('href')
     Title_list.append(title)
     Seek_list.append(seek)

df = pd.DataFrame({"Title":Title_list, "Seek":Seek_list})