Содержание скребков и джанго

Question

У меня есть приложение, созданное с помощью Django.Часть этого опирается на данные, которые я собираю с других сайтов.Интересно, как мне подходить к созданию скребка / агрегатора.

Преимущества его создания в качестве приложения Django:

1. возможность использования API моделей и баз данных Django
2. возможность использовать другие методы Джанго

С другой стороны, я думаю, что недостатком будет масштабируемость в долгосрочной перспективе.

Должен ли я построить скребок /агрегатор как приложение в моем проекте Django или как отдельный скрипт, который запускается сам по себе?

Хотелось бы услышать ваши мысли.

Answer 1

Ни один из ваших пунктов не требует, чтобы он запускал в Django . А поскольку он не будет зависеть от веб / HTTP-интерфейса, единственное, что имеет смысл - иметь отдельный модуль.

Answer 2

Я только что опубликовал приложение Django django-dynamic-scraper на GitHub , которое построено на основе фреймворка Scrapy и где вы можете создавать скребки Scrapy в Django.Администратор и использовать классы моделей Django для хранения ваших данных, возможно, они пригодятся людям с похожими проблемами.

Answer 3

Если это приложение django, оно будет работать только тогда, когда кто-то загрузит страницу. Это может замедлить загрузку.

Создание другого сценария может быть более приятной идеей, но может привести к неточным данным.

Я думаю, что на самом деле это зависит от контекста.