Запросы, связанные с Кафкой с Apache Atlas - PullRequest
Новая
       41

Запросы, связанные с Кафкой с Apache Atlas

0 голосов
/ 11 декабря 2018

Я работаю над сценарием использования, когда мне нужно импортировать метаданные внешней темы Кафки в атлас apache.У меня есть несколько вопросов для уточнения, которые перечислены ниже:

  1. Можно ли импортировать метаданные темы из внешнего Kafka, который не используется для уведомления атласа?Если возможно, как?
  2. Как сделать автоматическое обновление метаданных Kafka аналогично Hive или Hbase вместо того, чтобы каждый раз вручную запускать скрипт импорта?
  3. Нет данных о происхождении импортированных тем.В каких случаях данные о происхождении собираются для темы?
  4. Поскольку существует только одна сущность, связанная с Kafka "kafka_topic", не будет ли вообще никаких данных о взаимоотношениях?
  5. В каких случаях проводятся проверкибыл пойман за темы?

1 Ответ

0 голосов
/ 02 февраля 2019

Я также работаю над чем-то похожим на внешнюю тему Кафки и Атлас, и у меня есть почти такие же вопросы, как у вас.

К вашему третьему вопросу я думаю, что одна из причин, по которой нет темы происхождения КафкиЭто потому, что Kafka - это просто шина обмена сообщениями.Сообщения Kafka являются неизменяемыми, поэтому не существует таких DML, как HBase или Hive, хотя в HBase таблицы обновляются с помощью «version» по одному и тому же ключу строки.

В каждой теме Kafka есть настройка срока храненияпо умолчанию 7 дней, в течение которых независимо от того, использовались ли сообщения с истекшим сроком действия темы или нет, сообщения с истекшим сроком будут удалены из журнала.Исходя из этого, нет смысла отслеживать «удаленные» сообщения.

В конце концов, главная роль Kafka - это средство обмена сообщениями для доставки сообщений из источника в место назначения.Он может временно кэшировать сообщения, но это не то же самое, что база данных.Я не очень уверен в том, что для доставки на склад работаю перевозчик.

...