Скрапирование намного сложнее. Он запускает несколько процессов и использует многопоточность. Так что на самом деле нет способа использовать его как обычную функцию Python. Конечно, вы можете импортировать функцию, которая запускает сканер и вызывает ее, но что тогда? У вас будет нормальный лоскутный процесс, который взял под контроль вашу программу.
Вероятно, лучший подход здесь - запускать scrappy как подпроцесс вашей программы и взаимодействовать с ним, используя базу данных или файл. У вас хорошее разделение между вашей программой и сканером, и вы полностью контролируете основной процесс.