Я хочу сканировать веб-сайт, в моем коде есть какая-то проблема, мне нужны все данные в списке, но он дает мне данные последней страницы. Пожалуйста, помогите .... Вот мой код ....
import requests
import pandas as pd
from bs4 import BeautifulSoup
import numpy as np
url = 'https://www.imdb.com/list/ls025929404/?sort=list_order,asc&mode=detail&page='
for url_no in range(1,3,1):
r = requests.get(url+str(url_no))
print(url + str(url_no))
c = r.content
soup= BeautifulSoup(c,'html.parser') **// I am receiving here all data**
all = soup.find_all('div',{'class':'lister-list'}) **// but here i am receiving last page data**
for item in all:
images = item.find_all('div',{'class':'lister-item-image'})
name = item.find_all('h3',{'class':'lister-item-header'})
movie = item.find_all('p',{'class':'text-muted text-small'})
name_range=len(name)
movie_name = len(movie)
vvv = np.arange(1,len(all), 2)
vvv = list(vvv)
l= []
ll = []
i = 1
for names in range(name_range):
all_df= {}
all_df['Name']= name[names].text.replace('\n','').split('.')[1]
all_df['Movie'] = movie[names].text.replace('\n ','').replace('\n','').split(' | ')[1]
all_df['Profession'] = movie[names].text.replace('\n ','').replace('\n','').split(' | ')[0]
#l.append(all_df)
if i:
all_df['Info']= item.find_all('p')[i].text.replace('\n ','')
i+=2
l.append(all_df)
data = pd.DataFrame(l)