Я пытаюсь извлечь имена и комментарии из URL, и мой код перебирает URL-адреса, но не страницы с ним
len (name) дает 37
urls = ['https://www.f150forum.com/f118/2018-adding-adaptive-cruise-control-415450/','https://www.f150forum.com/f118/adaptive-cruise-control-sensor-blockage-446041/']
name=[]
for url in urls:
with requests.Session() as req:
for item in range(1,3):
response = req.get(f"{url}index{item}/")
soup = BeautifulSoup(response.content, "html.parser")
posts = soup.find(id = "posts")
threadtitle = soup.find('h1',attrs={"class":"threadtitle"})
for item in soup.findAll('a',attrs={"class":"bigusername"}):
result = [item.get_text(strip=True, separator=" ")]
name.append(result)
где, как, когда я я пытаюсь запустить этот код
for url in urls:
with requests.Session() as req:
for item in range(1,3):
response = req.get(f"{url}index{item}/")
soup = BeautifulSoup(response.content, "html.parser")
posts = soup.find(id = "posts")
threadtitle = soup.find('h1',attrs={"class":"threadtitle"})
for item in soup.find_all('div', class_="ism-true"):
try:
item.find('div', class_="panel alt2").extract()
except AttributeError:
pass
try:
item.find('label').extract()
except AttributeError:
pass
result = [item.get_text(strip=True, separator=" ")]
comments1.append(item.text.strip())
len (comments1) дает только 17, это только извлечение page2, которая является последней страницей в диапазоне. Как я могу убедиться, что мой код перебирает все страницы.