python сценарии bs4 работают в командной строке, а не в ubuntu - PullRequest
0 голосов
/ 28 мая 2020

У меня очень базовый c веб-скребок, созданный с помощью bs4 и запросов, и он отлично работает, когда я запускаю его из командной строки, но когда я пытаюсь запустить его на ubuntu, он ничего не возвращает.

def scrape():
    queryURL = "https://www.google.com/search?q=oranges"
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36"
    }
    r = requests.get(queryURL, headers=headers)
    soup = BeautifulSoup(r.text, "html.parser")
    a = soup.find_all('div', class_='r')

    if r.status_code == 200:
        soup = BeautifulSoup(r.text, "html.parser")
        urls = []
        for result in soup.find_all('div', class_='r'):
            anchors = result.find_all('a')
            if anchors:
                link = anchors[0]['href']
                urls.append(link)
        for url in urls:
            print(url)
scrape()

В командной строке

В Ubuntu

1 Ответ

0 голосов
/ 28 мая 2020

Я решил эту проблему с помощью домашнего прокси.

...