AWS Ошибка кластера EMR: обнаружено неподдерживаемое свойство logUri - PullRequest
Новая
       49

AWS Ошибка кластера EMR: обнаружено неподдерживаемое свойство logUri

0 голосов
/ 06 мая 2020

Привет, участники stackoverflow,

Я какое-то время застрял в этой проблеме и надеюсь, что кто-нибудь сможет мне помочь.

Я использую шаблон CloudFormation для создания кластера EMR с существующий VP C и su bnet. Шаблон cloudFormation означает создание 3 групп безопасности: (1 для MasterNode, 1 для Slave Node и 1 для экземпляра AccessServer), 3 AWS IAM Roles и 3-узловой кластер с Hive, Pig и Spark.

Когда я запускал шаблон из AWS CLI, я всегда сталкивался с небольшой проблемой: настройкой каталога журналов, который находится в местоположении S3. Это предложение выглядит примерно так: logUri: s3: // maxapps / emr / logs / Я запустил команду «aws s3 ls s3: // maxapps / emr / logs /», это дает мне правильный результат. Итак, я предполагаю, что местоположение s3 действительное.

Но именно здесь я получил следующую ошибку: «Обнаружено неподдерживаемое свойство logUri». Все работает отлично, пока не дойдет до «logUri: s3: // maxapps / emr / logs /». Созданы все 3 группы безопасности. Также генерируются все 3 роли IAM. Как только он достигает этого LogUri, он выдает ошибку и начинает откат и удаление всего, что было создано.

Вот часть кодов, к которым прикреплен logUri.

Внутри Ресурс для кластера EMR

Ресурсы: # Задача: Группы безопасности Master / Slave должны быть связаны только с Bastion (ами). EMRCluster: DependsOn: - EMRClusterServiceRole - EMRClusterinstanceProfileRole - EMRClusterinstanceProfile Тип: AWS :: EMR :: Свойства кластера: Имя:! Sub $ {AWS :: StackName} Теги кластера: - Ключ: Имя Значение:! Sub $ { AWS :: StackName} -e ... ... 

 Instances:
    Ec2KeyName: !Ref KeyPair
    Ec2SubnetId: !Select [0, !Ref PrivateSubnets]
    MasterInstanceGroup:
      Name: !Sub ${AWS::StackName}-MasterGroup
      InstanceCount: !Ref NumMasterNodes
      InstanceType: !Ref MasterEc2Type
      Market: ON_DEMAND
    CoreInstanceGroup:
      Name: !Sub ${AWS::StackName}-WorkerGroup
      InstanceCount: !Ref NumCoreNodes
      InstanceType: !Ref CoreEc2Type
      EbsConfiguration:
        EbsBlockDeviceConfigs:
          - VolumeSpecification:
              SizeInGB: !Ref HdfsVolumeSize
              VolumeType: !Ref HdfsVolumeType
            VolumesPerInstance: !Ref HdfsVolumeCount
        EbsOptimized: true          
      Market: ON_DEMAND    
    EmrManagedMasterSecurityGroup: !Ref EMRMasterSecurityGroup
    EmrManagedSlaveSecurityGroup: !Ref EMRSlaveSecurityGroup
    ServiceAccessSecurityGroup: !Ref EMRServiceAccessSecurityGroup
    TerminationProtected: false
  VisibleToAllUsers: true
  ReleaseLabel: emr-5.24.0
  logUri: s3://maxapps/emr/logs/  ###### This is what is caused the error message!!!!

  "aws s3 ls s3://maxapps/emr/logs/" run at AWS CLI indicates this s3 location is valid.

Заранее спасибо!

Макс

...