используя terraform с EMR spark, добавьте новый шаг, не разрушая кластер

Question

Я использую документацию terraform (https://www.terraform.io/docs/providers/aws/r/emr_cluster.html) для создания кластера EMR (искры). Я смотрю на развертывание заданий на основе искровых операций с помощью шагов с использованием terraform.

Отправка искры была бы чем-токак ..

spark-submit --deploy-mode cluster --class mypackage.myobject s3://.../my.jar

Кто-нибудь пробовал эту функцию и получил terraform, чтобы не разрушать кластер, когда вы добавляете новый шаг или изменяете шаг? В идеале, выполняемые шаги должны быть единственными, которые уничтожаются и создаются.

Answer 1

Вам может потребоваться изменить атрибут ignore_changes жизненного цикла, чтобы включить в него все, что изменяется

resource "aws_emr_cluster" "example" {
  # ... other configuration ...

  step {
    action = "TERMINATE_CLUSTER"
    name   = "Setup Hadoop Debugging"

    hadoop_jar_step {
      jar  = "command-runner.jar"
      args = ["state-pusher-script"]
    }
  }

  # Optional: ignore outside changes to running cluster steps
  lifecycle {
    ignore_changes = ["step"]
  }
}

Этот код взят из примера, взятого из https://www.terraform.io/docs/providers/aws/r/emr_cluster.html#enable-debug-logging

Answer 2

простой ответ заключается в том, что API определяет некоторые действия как требующие уничтожения .. ничего терраформ не может с этим поделать.

Я считаю, что это ограничение APIS cloudwatch.