Почему максимальное количество изображений, которое я могу загрузить из Google с помощью BeautifulSoup, составляет всего 20? - PullRequest
Новая
       52

Почему максимальное количество изображений, которое я могу загрузить из Google с помощью BeautifulSoup, составляет всего 20?

0 голосов
/ 07 июня 2018

Я пытаюсь удалить изображения из Google и загрузить их в папку. Но Google дает мне только 20 результатов, и никогда больше, даже если я изменяю лимит.Селен работает нормально, но я хочу знать, почему это не работает.Пожалуйста помоги!

это мой код 

import requests
from bs4 import BeautifulSoup
import sys
import random
import urllib

query=input("Enter the keyword to search for :")
query2 = query.replace(' ','%20')

headers={'user-agent':'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:60.0)        Gecko/20100101 Firefox/60.0'}

url="http://www.google.com/search?q="+query2+"&tbm=isch"
start = 0 
while start <50: 
 page=requests.get(url,headers)
 start=start+4

soup=BeautifulSoup(page.text,'html.parser')
list2=soup.find_all('img',limit=21,recursive=True)

i=0
print(len(list2))
while i<len(list2):
 file=list2[i]['src']
 print(list2[i]['src'])
 full_file_name = query+'image'+str(i)
 urllib.request.urlretrieve(file,full_file_name)
 i=i+1
...