Я пытался указать свечу, чтобы использовать python3 в EMR.
Я добавил приведенный ниже код в наших конфигурационных файлах
Resources:
PFJEMR:
Type: 'AWS::EMR::Cluster'
Properties:
Configurations:
- Classification: 'spark-defaults'
ConfigurationProperties:
spark.dynamicAllocation.initialExecutors: 2
spark.dynamicAllocation.minExecutors: 2
spark.dynamicAllocation.maxExecutors: 20
spark.port.maxRetries: 50
- Classification: 'spark-env'
Configurations:
- Classification: 'export'
properties:
PYSPARK_PYTHON: '/usr/bin/python3'
, вот версия json:
"Configurations": [
{
"Classification": "spark-defaults",
"ConfigurationProperties": {
"spark.dynamicAllocation.initialExecutors": 2,
"spark.dynamicAllocation.minExecutors": 2,
"spark.dynamicAllocation.maxExecutors": 20,
"spark.port.maxRetries": 50
}
},
{
"Classification": "spark-env",
"Configurations": [
{
"Classification": "export",
"properties": {
"PYSPARK_PYTHON": "/usr/bin/python3"
}
}
]
}
],
Но при создании стеков она продолжает давать мне Обнаружена ошибка свойств неподдерживаемого свойства.
Я уверен, что это исходит от части spark-env, так как я успешно протестировал часть spark-default.
Не могли бы вы помочь.
Спасибо