Есть ли способ получить URL-адрес из результатов поиска Google, когда CSV-файл, полный ключевых слов, загружен в Python?

Question

Можно ли получить URL со страницы результатов поиска Google по заданному ключевому слову? На самом деле, у меня есть CSV-файл, который содержит много названий компаний. И мне нужен веб-сайт, который отображается в верхней части результатов поиска в Google, когда я загружаю этот CSV-файл, он выбирает название компании / ключевое слово и помещает его в поле поиска.

Например: - переполнение стека , это одна из записей в моем csv-файле, и она должна быть выбрана и помещена в поле поиска, и она должна вернуть наилучшее совпадение / сначала URL из результатов поиска. Например: - { ссылка }

И этот возвращаемый результат должен быть сохранен в том же файле, который я загрузил, и рядом с ключевым словом для его поиска.

Я не знаю много об этих понятиях, поэтому любая помощь будет очень ценится. Спасибо!

Answer 1

В пакете Google есть одна зависимость от Beautifulsoup, которую необходимо сначала установить.

, а затем установить: pip install Google

search(query, tld='com', lang='en', num=10, start=0, stop=None, pause=2.0)

query : строка запроса, которую мы хотим найти.

tld : tld обозначает домен верхнего уровня, что означает, что мы хотим найти наш результат на google.com, google.in или в другом месте. домен.

lang : lang обозначает язык.

num : Количество результатов, которое мы хотим.

start : первый результат для извлечения.

stop : последний результат для извлечения. Используйте None, чтобы продолжать поиск навсегда.

pause : промежуток ожидания между HTTP-запросами. Слишком короткая ошибка может привести к тому, что Google заблокирует ваш IP. Сохранение значительного промежутка времени сделает вашу программу медленной, но ее безопасным и лучшим вариантом.

Return : Генератор (итератор), который выдает найденные URL. Если параметр stop равен None, итератор будет l oop навсегда.

Ниже приведен код для решения вашего вопроса.

import pandas
from googlesearch import search 

df = pandas.read_csv('test.csv')

result = []
for i in range(len(df['keys'])):
    for j in search(df['keys'][i], tld="com", num=10, stop=1, pause=2): 
        result.append(j)

dict1 = {'keys': df['keys'], 'url': result}  
df = pandas.DataFrame(dict1) 
df.to_csv('test.csv')

Пример входного файла формата изображения:

Изображение выходного файла: