У меня есть задача luigi, которая должна выбрать последние обновления таблицы красных смещений и отправить их в API.Я могу вручную добавить к своему выбору дату последнего обновления, чтобы получить только новые.Но для этого мне нужно будет либо угадать, когда последняя дата была основана на расписании для запуска задачи (но оно может быть отложено из-за запуска задач до этого), либо мне нужно сохранять эту дату где-то каждый раз, когда я извлекаю данные.
Я слышал, что, возможно, у Луиджи есть способ получить только самые последние записи.Я вижу, что есть таблица table_updates, в которую заполняется luigi, мне интересно, может ли кто-нибудь, кто знает luigi больше, сообщить мне, если есть более способ luigi сделать это.
На данный момент,Вероятно, я бы использовал следующий метод:
- Создать таблицу для хранения последних значений времени извлечения (
last_retrieval_times) - Затем найдите последнюю строку в этой таблице, чтобы найти последний поискtime
- Затем выполните что-то вроде:
SELECT * FROM accounts WHERE created_at > last_retrieval_time - Затем сохраните
created_at время последней записи в таблице last_retrieval_times