Webscraping на BeautifulSoup и Git Bash и передача в CSV

Question

Итак, я занимался веб-скраппингом на веб-сайте с таблицей, которую я хочу в идеале сделать веб-скрапом в таблицу Excel и сохранить ее в таблице. Я введу то, что у меня есть, я использовал scrapy и BeautifulSoup, и у меня возникли проблемы си то и другое.Помощь была бы отличной!

import requests
import csv
from bs4 import BeautifulSoup

url = 'https://pcpartpicker.com/products/video-card/'
r = requests.get(url)
html = r.text

soup = BeautifulSoup(html, 'lxml')

name = soup.find('tbody', {"id":"category_content"})

print(name.text)
~

Answer 1

Научитесь использовать Selenium или Scrapy с Splash, моя рекомендация для небольших задач - Selenium, вы можете выучить основы за день.

from selenium import webdriver
from bs4 import BeautifulSoup as bs
import time
options = webdriver.ChromeOptions()
#install chrome if none and download chromedriver and add path to it
driver = webdriver.Chrome(executable_path="D:/Python/chromedriver", options=options)
driver.get("https://pcpartpicker.com/products/video-card/")
time.sleep(2)
soup = bs(driver.page_source,'lxml')
name = soup.find('tbody', {"id":"category_content"})
for i in name:
        print(i.find('a').text)