Могу ли я использовать функции Scrapy в классах Django

Question

Я создал сайт в Джанго .Мне нужно использовать функции сканирования в Интернете.Итак, я установил Scrapy.Scrapy работает, как указано в их руководстве, используя

scrapy startproject dmoz

, но это работает с папкой diff с собственными файлами.

Возможно ли использовать функции Scrapy в классах Django ипоместить данные в переменные Django?

Answer 1

Сканирование - это долгая и трудоемкая задача.Он плохо сочетается с короткими HTTP-запросами.Поэтому вы должны использовать пользовательский интерфейс (предположительно написанный на Django) для запуска обходов Scrapy и общее хранилище для мониторинга состояния обхода.

Но вы не захотите сканировать во время жизни HTTP-запросов.Это не то, как Scrapy предназначен для использования.