Получение URL-адресов с использованием нескольких поисковых слов в CSV-файле из поиска Google. CSV-файл пуст, когда я запускаю приведенный выше код - PullRequest
0 голосов
/ 12 января 2020

У меня есть список компаний в столбцах CSV, для которых у меня нет URL. Я хотел бы найти в Google и добавить URL-адреса каждой компании в CSV-файл. Я хотел бы, чтобы поиск Google только точное название компании. Списки = названия компаний.

from bs4 import BeautifulSoup
import csv
import requests
import urllib

with open("database.csv", "r", newline="") as f_input:
csv_reader = csv.reader(f_input, delimiter=";", quotechar="|")
    lists = [row[0] for row in csv_reader]   

with open("results.csv", "w", newline="") as f_output:
    csv_writer = csv.writer(f_output, delimiter=";")

for list in lists: 
        search_url = "https://www.google.com/search?&q={}".format(urllib.parse.quote_plus(list, safe='/'))
        google = requests.get(search_url)
        soup = BeautifulSoup(google.content, "html.parser")

for r in soup.find_all('a', class_='r'):
                csv_writer.writerow([list, r.a.text, r.a['href'][7:]])

Списки = [Вина Accolade, Da lo c, Новые молочные продукты, ..]

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...