AWS EMR cloudformation spark-env Обнаружены неподдерживаемые свойства свойства - PullRequest
0 голосов
/ 06 марта 2020

Я пытался указать свечу, чтобы использовать python3 в EMR.

Я добавил приведенный ниже код в наших конфигурационных файлах

    Resources:
  PFJEMR:
    Type: 'AWS::EMR::Cluster'
    Properties:
      Configurations:
       - Classification: 'spark-defaults'
         ConfigurationProperties:  
          spark.dynamicAllocation.initialExecutors: 2
          spark.dynamicAllocation.minExecutors: 2
          spark.dynamicAllocation.maxExecutors: 20
          spark.port.maxRetries: 50
       - Classification: 'spark-env'
         Configurations: 
          - Classification: 'export'
            properties:
             PYSPARK_PYTHON: '/usr/bin/python3'

, вот версия json:

 "Configurations": [
                    {
                        "Classification": "spark-defaults",
                        "ConfigurationProperties": {
                            "spark.dynamicAllocation.initialExecutors": 2,
                            "spark.dynamicAllocation.minExecutors": 2,
                            "spark.dynamicAllocation.maxExecutors": 20,
                            "spark.port.maxRetries": 50
                        }
                    },
                    {
                        "Classification": "spark-env",
                        "Configurations": [
                            {
                                "Classification": "export",
                                "properties": {
                                    "PYSPARK_PYTHON": "/usr/bin/python3"
                                }
                            }
                        ]
                    }
                ],

Но при создании стеков она продолжает давать мне Обнаружена ошибка свойств неподдерживаемого свойства.

Я уверен, что это исходит от части spark-env, так как я успешно протестировал часть spark-default.

Не могли бы вы помочь.

Спасибо

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...