Клей AWS и межрегиональный доступ - PullRequest
1 голос
/ 16 марта 2019

У меня есть несколько вопросов о AWS Glue, на которые я надеялся, что кто-то может ответить за меня.

Таким образом, у нас есть учетная запись AWS, настроенная в регионе us-east-1, и мы используем AWSEMR вместе с Glue в качестве метастафа улья (через конфигурации emr).Это работало хорошо в течение прошлого года или около того, и никаких сбоев, у Glue Catalog есть куча БД и куча таблиц.Теперь мы хотим перенести весь наш проект в другой регион (тот же аккаунт, другой регион, например, us-west-1).Итак, я переместил все остальное, экземпляры ec2, sg и т. Д. Проблема в том, что я не вижу таблиц из склада метаданных us-east-1 в us-west-1.Теперь мои вопросы.

1.) Являются ли каталоги клея AWS конкретными для региона?То есть, если я создаю базу данных в клею в одном регионе, она остается в этом регионе или я могу что-то сделать, чтобы получить к ней доступ во всех регионах?Через консоль и программно.

2.) Если существует возможность совместного использования одного метастажа клея по регионам, как это работает с EMR, нужно ли указывать атрибут региона вместе с другими настройками клея встраница конфигурации EMR?

3.) Если # 2 возможен, взимается ли плата за доступ к каталогам клея по регионам (межрегиональный доступ)

3.) В противном случае, если # 2не возможно, мне нужно вручную скопировать db / таблицы из одного региона и импортировать их в каталог данных клея в другом регионе?Это правильный способ сделать это?

1 Ответ

0 голосов
/ 28 марта 2019

Просто для тех, кто видит это в будущем. В итоге я переместил таблицы с помощью написанной мной Java-программы, которая использует API-интерфейс AWS Java Glue для чтения таблиц из одного региона и создания их в другом. И затем тот же код удаляет таблицы из исходного региона. По-другому не видел. У нас было более 1000 таблиц для перемещения, поэтому ручное копирование их было не лучшим вариантом.

...