Переход от BeautifulSoup к Scrapy

Question

Я изучаю BeautifulSoup прямо сейчас, и мне нужно переключиться на Scrapy, так как позже мне понадобятся более мощные функции, такие как взаимодействие с формой и т. Д.

Будет ли правильной стратегией переносить мой скрипт BeautifulSoup в scrapy или каким-либо образом интегрировать код BeautifulSoup в scrapy?

Красивый код супа

 #Imports
from bs4 import BeautifulSoup
import requests
import pandas as pd 

html = """<div class="box1">
<table class="table1">
<tr><td class="label">Item1</td><td>Value1</td></tr>
<tr><td class="label">Item2</td><td>Value2</td></tr>
<tr><td class="label">Item3</td><td>Value3</td></tr>
<tr><td class="label">Item4</td><td>Value4</td></tr>
</table>
</div>"""

#Grab our page as text
soup = BeautifulSoup(html, "html.parser")

#Target what we want
div = soup.find("div", class_="box1")

#Filter what we want
columns = []
for tr in div.find_all('tr'):
    columns.append([td.text for td in tr.find_all("td")])

#Transpose our columns
columns = list(zip(*columns))   

#Output our results to Excel
df = pd.DataFrame(columns)   
df.to_csv('index.csv', index=False, encoding='utf-8')