Я знаю, что этот вопрос задавался в прошлом, но, похоже, многое изменилось за последние несколько лет, поэтому я надеюсь найти актуальный ответ.
У меня есть приложение django, которое собирает сторонние данные, которые обновляются ежечасно (приблизительно) и сохраняет эти данные в соответствующие модели в моей базе данных mySQL. Прямо сейчас я просто запускаю просмотр обновлений базы данных каждый раз, когда вручную перезагружаю свою домашнюю страницу. Есть ли способ автоматизировать этот процесс, чтобы сбор данных и обновление базы данных выполнялись каждый час самостоятельно? Я видел несколько вариантов, включая сельдерея или django менеджеров (?), И мне интересно, какой сейчас самый популярный метод.
Вторичный вопрос. Иногда сторонний поставщик данных обновляет свои данные нерегулярно (т. Е. Они пропускают час). Это может привести к тому, что мой скрипт соберет один и тот же набор данных более одного раза. Есть ли способ, которым я могу предотвратить сохранение этого дубликата в моей базе данных? Моя первоначальная мысль - очистить данные, а затем запросить мою базу данных, чтобы убедиться, что данные еще не существуют, прежде чем сохранять их. Это предпочтительный метод или есть более быстрый вариант, поскольку я слышал, что выполнение запросов к БД - это «дорогой» процесс.