Цикл BeautifulSoup не может захватить контент - PullRequest
0 голосов
/ 25 августа 2018

Мой скребок BeautifulSoup просматривает список URL-адресов и по желанию фиксирует один из моих критериев ('month_year'). Но каждый тег 'li' во втором цикле просто извлекает детали для первого экземпляра на странице.

Месяц_год не меняется для данного URL, и это нормально. Но «broadcast» должен возвращать разные детали для каждого тега «li».

Какой совет для начинающего?

contents = []
with open('monthly_list.csv','r') as csvf:
    urls = csv.reader(csvf)
    for url in urls:
        page = urlopen(url[0]).read()
        tunes = BeautifulSoup(page, 'html.parser')
        playlist = tunes.find('ul', class_='content-container row')
        daily_URLs_data = open('daily_URLs_2007-2018.csv', 'a')
        for li in playlist.find_all('div', class_='description'):
            month_year = tunes.find('div', class_='resultsHeader').text
            broadcast = playlist.h3.a
            print (month_year)
            print (broadcast)
            csv_writer.writerow([month_year, broadcast])
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...