Создание кластера EMR Hive с каталогом клеев с помощью CLI - PullRequest
Новая
       49

Создание кластера EMR Hive с каталогом клеев с помощью CLI

0 голосов
/ 27 февраля 2020

Я хотел бы создать кластер EMR Hive, который будет использовать Glue в качестве каталога данных, используя AWS CLI.
Я не нашел ничего связанного с этим в AWS docs или поиск в других местах.
Возможно ли это?

1 Ответ

1 голос
/ 29 февраля 2020

Сначала мы создаем классификацию конфигурации с именем emr. json, в которой AWS Каталог данных клея указывается как метастор для Hive: 

[
  {
    "Classification": "hive-site",
    "Properties": {
      "hive.metastore.client.factory.class": "com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory",
      "hive.metastore.schema.verification": "false"
    }
  }
]

Примечание. В версии выпуска EMR 5.28.0, 5.28.1 или 5.29.0, если вы создаете кластер с использованием каталога данных клея AWS в качестве метастаза, мы устанавливаем hive.metastore.schema.verification в значение false.

Наконец, мы объединяем файл классификации конфигурации с нашей последней командой следующим образом: 

aws emr create-cluster --name "syumaK-cluster" --configurations file://emr.json --release-label emr-5.28.0 --use-default-roles --applications Name=Hadoop Name=Spark Name=Hive Name=HUE --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m1.medium InstanceGroupType=CORE,InstanceCount=2,InstanceType=m1.medium

Ответ: 

{
    "ClusterId": "j-2NZ6xxxxxx", 
    "ClusterArn": "arn:aws:elasticmapreduce:us-east-1:1925xxxxx:cluster/j-2NZ6xxxxxx"
}

Надеюсь, это поможет!

...