Соскреб BeautifulSoup4 не может выходить за пределы первой страницы веб-сайта (Python 3.6)

Question

Я пытаюсь переместиться с первой страницы на страницу 14 этого веб-сайта: https://cross -currents.berkeley.edu / архивы? Author = & title = & type = All & issue = All & region = All Вот мой код:

import requests as r
from bs4 import BeautifulSoup as soup
import pandas 

#make a list of all web pages' urls
webpages=[]
for i in range(15):
    root_url = 'https://cross-currents.berkeley.edu/archives?author=&title=&type=All&issue=All&region=All&page='+ str(i)
    webpages.append(root_url)
    print(webpages)

#start looping through all pages
for item in webpages:  
    headers = {'User-Agent': 'Mozilla/5.0'}
    data = r.get(item, headers=headers)
    page_soup = soup(data.text, 'html.parser')

#find targeted info and put them into a list to be exported to a csv file via pandas
    title_list = [title.text for title in page_soup.find_all('div', {'class':'field field-name-node-title'})]
    title = [el.replace('\n', '') for el in title_list]

#export to csv file via pandas
    dataset = {'Title': title}
    df = pandas.DataFrame(dataset)
    df.index.name = 'ArticleID'
    df.to_csv('example31.csv',encoding="utf-8")

Выходной CSV-файл содержит только целевую информацию о последней странице. Когда я печатаю «веб-страницы», это показывает, что URL всех страниц были правильно внесены в список. Что я делаю неправильно? Заранее спасибо!

Answer 1

Другим способом в дополнение к тому, что разместила alexce, будет добавление фрейма данных внутри нового фрейма данных и его запись в CSV.

Объявление finalDf как кадра данных вне циклов:

finalDf = pandas.DataFrame()

Позже сделайте это:

for item in webpages:
    headers = {'User-Agent': 'Mozilla/5.0'}
    data = r.get(item, headers=headers)
    page_soup = soup(data.text, 'html.parser')

#find targeted info and put them into lists to be exported to a csv file   via pandas
    title_list = [title.text for title in page_soup.find_all('div', {'class':'field field-name-node-title'})]
    title = [el.replace('\n', '') for el in title_list]

#export to csv file via pandas
    dataset = {'Title': title}
    df = pandas.DataFrame(dataset)
    finalDf = finalDf.append(df)
    #df.index.name = 'ArticleID'
    #df.to_csv('example31.csv', mode='a', encoding="utf-8", header=False)

finalDf = finalDf.reset_index(drop = True)
finalDf.index.name = 'ArticleID'
finalDf.to_csv('example31.csv', encoding="utf-8")

Обратите внимание на строки с finalDf

Answer 2

Вы просто перезаписываете один и тот же выходной CSV-файл для всех страниц, вы можете вызвать .to_csv() в режиме «добавления», чтобы добавить новые данные в конец существующего файла:

df.to_csv('example31.csv', mode='a', encoding="utf-8", header=False)

Или, еще лучше, собрать заголовки в список заголовков, а затем сбросить их в CSV один раз:

#start looping through all pages
titles = []
for item in webpages:
    headers = {'User-Agent': 'Mozilla/5.0'}
    data = r.get(item, headers=headers)
    page_soup = soup(data.text, 'html.parser')

    #find targeted info and put them into a list to be exported to a csv file via pandas
    title_list = [title.text for title in page_soup.find_all('div', {'class':'field field-name-node-title'})]

    titles += [el.replace('\n', '') for el in title_list]

# export to csv file via pandas
dataset = [{'Title': title} for title in titles]
df = pandas.DataFrame(dataset)
df.index.name = 'ArticleID'
df.to_csv('example31.csv', encoding="utf-8")