У меня очень базовый c веб-скребок, созданный с помощью bs4 и запросов, и он отлично работает, когда я запускаю его из командной строки, но когда я пытаюсь запустить его на ubuntu, он ничего не возвращает.
def scrape():
queryURL = "https://www.google.com/search?q=oranges"
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36"
}
r = requests.get(queryURL, headers=headers)
soup = BeautifulSoup(r.text, "html.parser")
a = soup.find_all('div', class_='r')
if r.status_code == 200:
soup = BeautifulSoup(r.text, "html.parser")
urls = []
for result in soup.find_all('div', class_='r'):
anchors = result.find_all('a')
if anchors:
link = anchors[0]['href']
urls.append(link)
for url in urls:
print(url)
scrape()
В командной строке
В Ubuntu