Циклические ссылки в CSV-файле с использованием селена в Python

Question

Я пытаюсь открыть файл .csv, открыть ссылку в файле .csv с селеном и просмотреть ссылки в файле .csv.Я новичок в Selenium.Я могу легко сделать это в красивом супе. Можете ли вы направить меня в правильном направлении.

from selenium import webdriver
from bs4 import BeautifulSoup as bs
import csv
import requests

contents =[]

filename = 'link_business_filter.csv'

def copy_json():
    with open('vendors_info_bangkok.json',"a") as wt:
        for x in script3:
            wt.write(x)
            wt.close()
            return

with open(filename,'rt') as f:
    data = csv.reader(f)
    for row in data:
        links = row[0]
        contents.append(links)

for link in contents:
    url_html = requests.get(link)

    browser = webdriver.Chrome('chromedriver')
    for link_loop in url_html:

       open = browser.get(link_loop)

       source = browser.page_source
       data = bs(source,"html.parser")
       body = data.find('body')
       script = body
       x_path = '//*[@id="react-root"]/section/main/div'
       script2 = browser.find_element_by_xpath(x_path)
       script3 = script2.text
       print(script3)
       copy_json()

Answer 1

• Первая установка селен:

  pip install selenium
  

• Затем в соответствии с вашей os установкой chromediver, затем протестируйте ее, перейдя в папку, в которой вы сохранили драйвер, откройте терминал и введите chromedriver, если ошибки нет, тогда работы.

• Затем в вашем коде необходимо указать executable_path для chromdriver

В вас код:

....code...


for link in contents:
    url_html = requests.get(link)

    path to chromdriver = 'C:/Users/chromedriver.exe'    #<-- you can keep this file anywhere you wish

    browser = webdriver.Chrome(executable_path= 'path_to_chromdriver')    #<-- you can also give the path directly here
    for link_loop in url_html:


    ...code...