импортировать метаданные из РСУБД в Apache Atlas - PullRequest
Новая
       118

импортировать метаданные из РСУБД в Apache Atlas

1 голос
/ 04 мая 2020

Я изучаю Atlas и пытаюсь найти способ импортировать метаданные из СУБД, например (Sql Сервер или Postgre Sql).

Может ли кто-нибудь предоставить ссылку / s, чтобы сделать это или шаги ?

Я использую Atlas в docker со встроенными HBase и Solr. Намерение состоит в том, чтобы импортировать метаданные из AWS RDS.

Обновление 1 Чтобы перефразировать мой вопрос. Можем ли мы импортировать метаданные напрямую с сервера RDS Sql или PostgreSql без импорта фактических данных в кусте (имел oop)?

Любые комментарии или ответы приветствуются. Спасибо!

1 Ответ

0 голосов
/ 08 мая 2020

AFAIK, Атлас работает на улей метастор.

Ниже приведена AWS документация , как это сделать в AWS Emr при создании самого кластера. ... Классификация метаданных, происхождение и обнаружение с использованием Apache Atlas на Amazon EMR

Вот источник Cloudera из sq oop точка зрения.

Из Cloudera source: Заполните репозиторий метаданных из RDBMS в Apache Вопрос Atlas от Cloudera.

1) вы создаете новые типы в Atlas. Например, в случае Oracle и Oracle типа таблицы, типа столбца и т. Д. c.
2) создайте сценарий или процесс, который извлекает метаданные из исходного хранилища метаданных.
3) Как только у вас появятся метаданные, которые вы хотите сохранить в Atlas, ваш процесс создаст связанные сущности Atlas на основе новых типов, используя представления Java API или JSON через REST API напрямую. Если вы хотите, вы можете добавить к этому происхождение по мере сохранения новых сущностей.

В приведенной ниже документации есть пошаговые инструкции по использованию sq oop для перехода от любой СУБД к кусту.

https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.5.3/bk_data-access/content/using_sqoop_to_move_ .. .

Вы также можете сослаться на это: http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_literal_sqoop_import_all_tables_literal

Чтобы получить метаданные всех этих импортированных данных sq oop в Atlas, убедитесь, что нижеуказанные конфигурации установлены правильно.

http://atlas.incubator.apache.org/Bridge-Sqoop.html

Обратите внимание, что указанный выше шаг конфигурации не требуется, если конфигурация вашего кластера управляется Ambari.

...