Почему AWS CloudFormation выдает «Обнаружено неподдерживаемое свойство InstanceGroups»? - PullRequest
Новая
       9

Почему AWS CloudFormation выдает «Обнаружено неподдерживаемое свойство InstanceGroups»?

1 голос
/ 17 июня 2019

При развертывании приведенного ниже сценария AWS CloudFormation я получаю следующую ошибку: «Обнаружено неподдерживаемое свойство InstanceGroups»

В прошлом я использовал InstanceGroups без каких-либо проблем.Вот пример того, как другие используют его: https://noise.getoto.net/tag/amazon-emr/

Я использую EMR 5.17.0, который я использовал для настройки ранее.

{
  "Description": "Spark ETL EMR CloudFormation",
  "Resources": {
    "EMRCluster": {
      "Type": "AWS::EMR::Cluster",
      "Properties": {
        "Applications": [
          {
            "Name": "Hadoop"
          },
          {
            "Name": "Spark"
          },
          {
            "Name": "Ganglia"
          },
          {
            "Name": "Zeppelin"
          }
        ],
        "AutoScalingRole": "EMR_AutoScaling_DefaultRole",
        "BootstrapActions": [
          {
            "Path": "s3://somepath/scripts/install_pip36_dependencies.sh",
            "Args": [
              "relay==0.0.1"
            ],
            "Name": "install_pip36_dependencies"
          }
        ],
        "Configurations": [
          {
            "Classification": "yarn-site",
            "Properties": {
              "yarn.scheduler.fair.preemption": "False",
              "yarn.resourcemanager.am.max-attempts": "1"
            },
            "Configurations": []
          },
          {
            "Classification": "core-site",
            "Properties": {
              "fs.s3.canned.acl": "BucketOwnerFullControl"
            },
            "Configurations": []
          }
        ],
        "EbsRootVolumeSize": 10,
        "InstanceGroups": [
          {
            "Name": "Master",
            "Market": "ON_DEMAND",
            "InstanceRole": "MASTER",
            "InstanceType": "m5.2xlarge",
            "InstanceCount": 1,
            "EbsConfiguration": {
              "EbsBlockDeviceConfigs": [
                {
                  "VolumeSpecification": {
                    "SizeInGB": 100,
                    "VolumeType": "64"
                  },
                  "VolumesPerInstance": 1
                }
              ],
              "EbsOptimized": "True"
            }
          },
          {
            "Name": "Core",
            "Market": "ON_DEMAND",
            "InstanceGroupType": "CORE",
            "InstanceType": "m5.2xlarge",
            "InstanceCount": 5,
            "EbsConfiguration": {
              "EbsBlockDeviceConfigs": [
                {
                  "VolumeSpecification": {
                    "SizeInGB": 100,
                    "VolumeType": "gp2"
                  },
                  "VolumesPerInstance": 1
                }
              ],
              "EbsOptimized": "True"
            }
          },
          {
            "Name": "Task - 3",
            "Market": "ON_DEMAND",
            "InstanceGroupType": "TASK",
            "InstanceType": "m5.2xlarge",
            "InstanceCount": 2,
            "EbsConfiguration": {
              "EbsBlockDeviceConfigs": [
                {
                  "VolumeSpecification": {
                    "SizeInGB": 32,
                    "VolumeType": "gp2"
                  },
                  "VolumesPerInstance": 1
                }
              ],
              "EbsOptimized": "True"
            }
          }
        ],
        "LogUri": "s3://somepath/emr-logs/",
        "Name": "EMR CF",
        "ReleaseLabel": "emr-5.17.0",
        "ServiceRole": "EMR_DefaultRole",
        "VisibleToAllUsers": "True"
      }
    }
  }
}

Когда загружен скрипт CF, он должен создать кластер AWS EMR

1 Ответ

1 голос
/ 17 июня 2019

Aws рекомендует установить MasterInstanceGroup и CoreInstanceGroup в Instances

Я приведу вам пример Instances свойства EMR Cluster with Hadoop, Hbase, Spark, Ganglia and Zookeeper: 

      Instances:
        Ec2KeyName: !Ref KeyName
        Ec2SubnetId: !ImportValue MySubnetPrivateA
        EmrManagedMasterSecurityGroup: !ImportValue EmrMasterSgId
        AdditionalMasterSecurityGroups:
          - !ImportValue EmrMasterAdditionalSgId
        EmrManagedSlaveSecurityGroup: !ImportValue EmrSlaveSgId
        AdditionalSlaveSecurityGroups:
          - !ImportValue EmrSlaveAdditionalSgId
        ServiceAccessSecurityGroup: !ImportValue EmrServiceSgId
        MasterInstanceGroup:
          InstanceCount: 1
          InstanceType: !Ref MasterInstanceType
          Market: ON_DEMAND
          Name: Master
        CoreInstanceGroup:
          InstanceCount: !Ref NumberOfCoreInstances
          InstanceType: !Ref CoreInstanceType
          Market: ON_DEMAND
          Name: Core
        TerminationProtected: false
      VisibleToAllUsers: true
      JobFlowRole: !Ref EMRClusterinstanceProfile
      ReleaseLabel: !Ref ReleaseLabel
      LogUri: !Ref LogUri
      Name: !Ref EMRClusterName
      AutoScalingRole: EMR_AutoScaling_DefaultRole
      ServiceRole: !Ref EMRClusterServiceRole
      Tags:
        -
          Key: "cluster_name"
          Value: "master.emr.my.com"

Вы можете увидеть полный шаблон AWS здесь .

...