IBM Analytics Engine - создание кластера завершится неудачно, если я передам конфигурацию Ambari как часть дополнительных параметров - PullRequest
Новая
       33

IBM Analytics Engine - создание кластера завершится неудачно, если я передам конфигурацию Ambari как часть дополнительных параметров

0 голосов
/ 05 марта 2020

Я использую Analytics Engine в IBM Cloud и пытаюсь передать конфигурацию Ambari, как показано ниже в разделе Дополнительные параметры обеспечения. 

{
    "ambari_config": {
        "hardware_config": "default",
        "software_package": "ae-1.2-hive-spark",
        "num_compute_nodes": 1,
        "advanced_options": {
            "ambari_config": {
                "spark2-defaults": {
                    "spark.dynamicAllocation.minExecutors": 1,
                    "spark.shuffle.service.enabled": true,
                    "spark.dynamicAllocation.maxExecutors": 2,
                    "spark.dynamicAllocation.enabled": true
                }
            }
        }
    }
}

Я следую этой документации, чтобы передать вышеуказанную конфигурацию

https://cloud.ibm.com/docs/services/AnalyticsEngine?topic=AnalyticsEngine-advanced-provisioning-options

После нескольких выходов из системы я вижу, что каждый раз мой кластер запрос не выполняется

Ответы [ 2 ]

0 голосов
/ 06 марта 2020

еще один сценарий, в котором создание кластера может завершиться неудачей, похож на InvalidTopologyException: в стеке не определены следующие типы конфигурации: [spar2-hive-site-override]

Проблема выше была из-за TYPO, чтобы определить файл свойств конфигурации, где пользователь хочет добавить или изменить свойства.

0 голосов
/ 05 марта 2020

После рассмотрения моего запроса я понял, что дважды передаю атрибут ambari_config для моего запроса, который я не принял

Действительный json, который работал для меня, выглядит так 

{
    "hardware_config": "default",
    "software_package": "ae-1.2-hive-spark",
    "num_compute_nodes": 1,
    "advanced_options": {
        "ambari_config": {
            "spark2-defaults": {
                "spark.dynamicAllocation.minExecutors": 1,
                "spark.shuffle.service.enabled": true,
                "spark.dynamicAllocation.maxExecutors": 2,
                "spark.dynamicAllocation.enabled": true
            }
        }
    }
}
...