AWS EMR с каталогом клея, указать catalogId явно - PullRequest
Новая
       6

AWS EMR с каталогом клея, указать catalogId явно

0 голосов
/ 14 сентября 2018

есть ли способ указать Glue catalogId явным образом в конфигурации EMR?

https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-hive-metastore-glue.html

Здесь показано, как указать использование клея в EMR для мета-хранилища Hive, но не документируетсялюбой параметр для указания catalogId, который будет передаваться вызовам API Glue (предположительно, по умолчанию это идентификатор учетной записи).

Позже в документе упоминается "... если кластер находится в другой учетной записи AWS"из этого следует, что существует способ указать кластеру EMR на каталог Glue в другой учетной записи.

1 Ответ

0 голосов
/ 29 октября 2018

Похоже, что это было недавно добавлено.Соответствующее свойство - hive.metastore.glue.catalogid, в пределах hive-site

https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-hive-metastore-glue.html

. Кроме того, в Amazon EMR 5.16.0 и более поздних версиях можно использовать классификацию конфигурации для указания данных.Каталог в другой учетной записи AWS. "

" Чтобы указать каталог данных в другой учетной записи AWS, добавьте свойство hive.metastore.glue.catalogid, как показано в следующем примере "

...