Как выполнить Scrapy Python в файле JavaScript?

Question

У меня есть скрипт python, который я запустил с помощью команды scrapy crawl mynamefile.

Я хотел бы запустить команду python cli scrapy crawl из файла js в моем приложении node js, а затем отобразить ее в консоли.

Проблема в том, что я не могу импортировать библиотеку scrapy python в узел.

Спасибо за вашу помощь!

Answer 1

Я не считаю хорошей идеей запускать код Python из NodeJS.Если вы по какой-то причине вынуждены это сделать, вам, вероятно, нужно вызвать скрипт Python в дочернем процессе (см., Например, эту статью ).

В качестве альтернативы вы можете использовать что-то вроде Scrapyrt , который предоставляет HTTP API для вашего проекта Scrapy и предоставляет возможность очистки по требованию.

Тем не менее, лучшим вариантом кажется использование некоторого собственного решения для очистки JavaScript, такого как Apify .