Почему Apache Druid считается базой данных в реальном времени? - PullRequest
Новая
       4

Почему Apache Druid считается базой данных в реальном времени?

0 голосов
/ 04 февраля 2019

Это вопрос, который относится к тому, как продвигается Друид.

Почему это называется базой данных реального времени, когда, как я понимаю, перед тем, как какие-либо данные могут быть эффективно прочитаны из БД, существует необходимость в тяжелом ETL с использованием внешнего инструмента (такого как Hive или Spark), который загружает полуагрегированные данные в Druid до того, как база данных запишет эти входные данные эффективным способом на основе хранилища столбцов.

Насколько я понимаю, Druid можно рассматривать в режиме реального времени с точки зрения связи между Druid и запросом пользовательского интерфейса, но не между источником правды (включая транзакции в реальном времени) и Druid, поскольку требуется аналитика (возможно, несколько объединений)между.

1 Ответ

0 голосов
/ 05 февраля 2019

Druid поддерживает прием в реальном времени через Kafka Streaming, и данные доступны для немедленного запроса, поэтому он считается хранилищем данных в реальном времени.

Druid также поддерживает пакетный прием, как вы упомянули, используя Hive и Spark.

Вот более подробная информация о Apache Druid :

Apache druid - это хранилище данных OLAP, разработанное для обеспечения производительности запросов в секунду при загрузке данных в режиме реального времени или в пакетном режиме.

Способы получения данных в друид

  • Проглатывание в реальном времени - Друид может использовать темы Кафки для загрузки данных в режиме реального времени.

  • Batch Ingestion - Друид использует Hive и Spark для чтения наборов данных из HDFS.В этом случае это не реальное время, но есть варианты использования, которые не обязательно должны быть в реальном времени, а просто требуют более быстрого времени отклика для специальных запросов.

Где друид отлично подходит:

  • Приложения с данными на основе событий.

  • Меньше обновлений данных

  • Время отклика менее секунды

Когда вы не должны учитывать друида

  • Большое количество соединений

  • Дополнительные обновления данных

Горячие отрасли / Приложение для друидов

  • Услуги IOT

  • Мониторинг сети

  • Цифровой маркетинг

  • Потоковое приложение в любое время

...