AWS Create EMR с использованием boto3. Масштабирование не работает должным образом - PullRequest
Новая
       66

AWS Create EMR с использованием boto3. Масштабирование не работает должным образом

0 голосов
/ 19 декабря 2018

Я автоматически масштабирую emr, используя boto3 , а затем автоматически масштабирую его, используя EMR_AutoScaling_DefaultRole.Автоматическое масштабирование не работает должным образом:

Изначально оно выдает предупреждение как

Политика ожидает вложения.

и в конце концов выдает ошибку как

Политике автоматического масштабирования для группы экземпляров ig-XXXXXXXXXXXX в кластере Amazon EMR j-XXXXXXXXXXXX (test_emr ...) не удалось подключиться, и произошел сбой в 2018-12-19 10:03 UTC.

Что можно сделать, чтобы назначить роль автомасштабирования?

Ответы [ 2 ]

0 голосов
/ 08 января 2019

В дополнение к ответу @Harsh Bafna.Вам также необходимо установить политику доверительных отношений для роли EMR_AutoScaling_DefaultRole. 

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": [
          "application-autoscaling.amazonaws.com",
          "elasticmapreduce.amazonaws.com"
        ]
      },
      "Action": "sts:AssumeRole"
    }
  ]
}
0 голосов
/ 23 декабря 2018

Вам нужно добавить политику AmazonElasticMapReduceforAutoScalingRole в EMR_AutoScaling_DefaultRole.

Перейдите в «IAM> Роли> EMR_AutoScaling_DefaultRole» и на вкладке разрешений нажмите «Добавить» и добавьте AmazonElasticMapReduceforAutoScalingRole.

Кроме того, для устранения этих сбоев можно использовать команду описать кластер из CLI,Ответ будет включать состояние политики автоматического масштабирования, которое выдает сообщение об ошибке по причине сбоя, если политика не смогла подключиться.

...