Ошибка при установке (начальной загрузке) последней версии Spark на последнюю версию AWS EMR (5.13.X)

Question

Я пытался установить Spark на последний кластер EMR ((5.13.X) с помощью начальной загрузки, используя Terraform, но безуспешно. Любая готовая к использованию последняя версия загрузочного скрипта Spark / emr или другое решение для использования с помощью Терраформ?

   bootstrap_action = {
path = "s3://support.elasticmapreduce/spark/install-spark"
name = "install-spark"
args = ["instance.isMaster=true", "echo running on master node"]}

Answer 1

Это действие начальной загрузки install-spark не работало с тех пор, как около трех лет назад Spark официально поддерживался как приложение в AMI версии 3.9.0. Кроме того, действия начальной загрузки, созданные для AMI версии 3.x и более ранних версий, вообще не работают с метками выпуска emr-4.x и emr-5.x +.

Вместо этого, чтобы установить Spark на emr-4.x или emr-5.x, вы просто включаете «Spark» в список приложений RunJobFlowRequest.

Я не использовал Terraform для создания кластера EMR, но пример, который я нашел в https://www.terraform.io/docs/providers/aws/r/emr_cluster.html, показывает, как именно создать кластер с помощью Spark.