Почему данные 'Genre' не записываются в файл .csv в моем коде

Question

Я пытаюсь изучить веб-скребинг с помощью Beautifulsoup, и я реализовал этот код.Но в файл CSV записываются только заголовки фильмов, но не Жанр, хотя оба они были извлечены.

URL: http://www.imdb.com/search/title?sort=num_votes,desc&start=1&title_type=feature&year=1950,2012

f = csv.writer(open('movie-names.csv', 'w'))
f.writerow(['Title', 'Genre'])

pages = []
genre;


for i in range(1,2):
    url = 'http://www.imdb.com/search/title?sort=num_votes,desc&start=1&title_type=feature&year=1950,2012'
    pages.append(url)


for item in pages:
    page = requests.get(item)
    soup = BeautifulSoup(page.text, 'html.parser')

    movie_titles = soup.find_all(class_ = 'lister-item-content')

    for movie_title in movie_titles:
        title = movie_title.find('a').contents[0]
        genre = movie_title.find_all(class_ = 'genre')[0].get_text()
        print(genre)
        f.writerow([title, genre])

Answer 1

Использование pandas гораздо проще экспортировать данные в CSV.

from bs4 import BeautifulSoup
import requests
import pandas as pd
pages = []

for i in range(1,2):
    url = 'http://www.imdb.com/search/title?sort=num_votes,desc&start=1&title_type=feature&year=1950,2012'
    pages.append(url)

Movie_title=[]
Movie_genre=[]
for item in pages:
    page = requests.get(item)
    soup = BeautifulSoup(page.text, 'html.parser')

    movie_titles = soup.select('.lister-item-content')

    for movie_title in movie_titles:
        title = movie_title.select_one('a').text
        Movie_title.append(title)
        genre = movie_title.select_one('.genre').text.replace('\n','')
        Movie_genre.append(genre)


df = pd.DataFrame({"Movie_title":Movie_title,"Movie_genre":Movie_genre})
df.to_csv("movie-names.csv",index=False)

Вывод:

Answer 2

Это должно работать:

import requests
from bs4 import BeautifulSoup
import csv

with open("movie-names.csv", "w") as f:
    writer = csv.writer(f)
    writer.writerow(['Title', 'Genre'])

    pages = []
    genre = []


    for i in range(1,2):
        url = 'http://www.imdb.com/search/title?sort=num_votes,desc&start=1&title_type=feature&year=1950,2012'
        pages.append(url)


    for item in pages:
        page = requests.get(item)
        soup = BeautifulSoup(page.text, 'html.parser')

        movie_titles = soup.find_all(class_ = 'lister-item-content')

        for movie_title in movie_titles:
            title = movie_title.find('a').contents[0]
            genre = movie_title.find_all(class_ = 'genre')[0].get_text()
            print(title, genre)
            writer.writerow([title, genre])

Это выдержка из содержимого в .csv Я запускаю код:

Title   Genre
The Shawshank Redemption     Drama            
The Dark Knight  Action, Crime, Drama            
Inception    Action, Adventure, Sci-Fi            
Fight Club   Drama            
Pulp Fiction     Crime, Drama            
Forrest Gump     Drama, Romance  

Обратите внимание, что это для цикла:

for i in range(1,2):
    url = 'http://www.imdb.com/search/title?sort=num_votes,desc&start=1&title_type=feature&year=1950,2012'
    pages.append(url)

будет бесполезным, так как в этом случае добавьте только один URL. В общем случае, когда 2 равен n, он добавляет к тому же url n-1 раз. Это твое намерение?