Друид - Потоковая загрузка данных - Непрерывные агрегации

Question

Я смотрю на использование Друида для агрегации.Мой вариант использования заключается в том, что я хочу передавать данные в Druid (для того же дня, когда для plotGranularity задано значение DAY), а во время приема я хочу собирать данные.

Мой вопрос: когда мы отправляем первый поток данных, данные свернуты, а агрегаты рассчитаны и записаны в Druid.Теперь, когда я посылаю другой поток данных в Друид (который относится к уже свернутым данным), как это делает друид?

Обновляет ли друид агрегированные данные или просто добавляет эти данные к существующим агрегированным данным?

Answer 1

Спасибо за комментирование.Я могу заставить друида работать с потоковым проглатыванием, а также с агрегацией.

Я обнаружил, что при повторной передаче данных агрегирование данных обновляется.

Спасибо

Answer 2

Друид работает с 2 типами приема - Потоковое поглощение и Загрузка через пакетный файл.Для приема потокового видео это делается через сервер Tranquality или Firehose, подключенный к kafka (push vs pull).-

Для потоковых данных агрегирование накоплений добавляется к предыдущим данным.

Для пакетного приема - Друид повторно получает все данные для данного таймфрейма или сегмента.

Для вашего случая использования (ежедневно), если у вас нет проблемы с дублирующимися данными (т. Е. Может появиться тот же поток данных), вы можете использовать потоковую загрузку, в противном случае предпочтительным является пакетная загрузка через определенный интервал времени.например.ежечасно.