когда я настраиваю ловушку улья и создаю в улье таблицу, которая автоматически не добавляется в атлас и не отображается в сущности таблиц улья атласа - PullRequest
Новая
       51

когда я настраиваю ловушку улья и создаю в улье таблицу, которая автоматически не добавляется в атлас и не отображается в сущности таблиц улья атласа

0 голосов
/ 18 февраля 2019

Я настроил ловушку кустов для атласа в hive-site.xml следующим образом: 

atlas.hook.hive.synchronous = true

hive.exec.post.hooks = org.apache.hadoop.hive.ql.hooks.ATSHook,org.apache.atlas.hive.hook.HiveHook

atlas.cluster.name = dpf

Я использую ambari для настройки

Созданы две темы кафки: ATLAS_ENTITIES и ATLAS_HOOK

и когда я создал таблицу в кусте, например: 

create table br(full_name string, ssn string, location string);

, а затем запускаю эту команду: 

/usr/hdp/2.6.5.0-292/kafka/bin/kafka-console-consumer.sh --zookeeper dlm01.sic:2181,dlm02.sic:2181,dlm03.sic:2181 --topic ATLAS_HOOK --from-beginning

Я вижу формат jsonтекст для создания таблицы br.Это означает, что улей отправляет данные в тему ATLAS_HOOK, и она работает правильно.

, но когда я запускаю эту команду: 

/usr/hdp/2.6.5.0-292/kafka/bin/kafka-console-consumer.sh --zookeeper dlm01.sic:2181,dlm02.sic:2181,dlm03.sic:2181 --topic ATLAS_ENTITIES --from-beginning

ничего не видел в таблице br.

Почему таблица не отображается в таблицах улья атласа?Что не так?

Примечание:

Когда я вручную импортирую метаданные куста в атлас с помощью import-hive.sh, я вижу информацию о таблице br в двух разделах кафки (ATLAS_ENTITIES,Таблица ATLAS_HOOK) и br отображается в атласе.Но автоматически это не работает

...