Как синхронизировать HBase с данными в упругом поиске? (транзакция?) И это должно быть в режиме реального времени

Question

Моя компания принадлежит индустрии Интернета вещей. Структура, за которую я отвечаю (поток данных): EMQTT => kafka => hbase => phoenix => отдых весеннего облака => представление HTML. Теперь проблема заключается в том, что другие поля HBase-запросов к полям, не являющимся ключами, выполняются очень медленно, поэтому я хочу реализовать эластичный поиск HBase + для достижения быстрого запроса с несколькими условиями, но самое большое препятствие заключается в том, что данные в HBase и эластичном поиске совпадают. , Шаг? (транзакция?) И это должно быть в режиме реального времени.

Answer 1

Я бы использовал входной разъем logstash Кафки , чтобы прочитать поток как можно скорее. На мой взгляд, лучше быть как можно ближе к источнику события.