И Scrapy, и Django Frameworks являются автономной лучшей средой Python для создания искателей и веб-приложений с меньшим количеством кода, хотя, тем не менее, когда вы хотите создать паука, вам всегда нужно генерировать новый файл кода и писать один и тот же кусок кода (хотя с некоторым изменением.) Я пытался объединить оба.Но застрял в месте, где мне нужно отправить статус 200_OK, что паук работает успешно, и в то же время паук продолжает работать, и когда он завершает работу, он сохраняет данные в базу данных.
Хотя я знаю, что API уже доступны с scrapyd.Но я хотел сделать его более универсальным.Это позволяет вам создать сканер без записи нескольких файлов.Я думал, что Crawlrunner https://docs.scrapy.org/en/latest/topics/practices.html поможет в этом, поэтому попробуйте эту вещь также t Самый простой способ запустить сканер скрапинга, чтобы он не блокировал скрипт , но он дает мне ошибку, чтоbuiltins.ValueError: signal only works in main thread
Даже если я получаю ответ от Rest Framework.Но Crawler не удалось запустить из-за этой ошибки, значит ли это, что мне нужно переключиться на основной поток?Я делаю это с помощью простого кода
spider = GeneralSpider(pk)
runner = CrawlerRunner()
d = runner.crawl(GeneralSpider, pk)
d.addBoth(lambda _: reactor.stop())
reactor.run()