AWS Data Pipeline не создает все узлы подчиненного / основного экземпляра. - PullRequest
Новая
       52

AWS Data Pipeline не создает все узлы подчиненного / основного экземпляра.

0 голосов
/ 08 марта 2019

Я попытался создать конвейеры данных AWS, используя CLI, а также используя графический интерфейс.В любом случае, когда я указываю более одного подчиненного узла, он не создается должным образом.Вот пример определения: 

{
    "name": "EmrClusterForLoad",
    "coreInstanceCount": "16",
    "coreInstanceType": "r3.xlarge",
    "releaseLabel": "emr-5.13.0",
    "id": "EmrClusterForLoad",
    "masterInstanceType": "r3.xlarge",
    "region": "#{myDDBRegion}",
    "type": "EmrCluster"
},

Есть предложения или мысли?

Ответы [ 2 ]

1 голос
/ 09 марта 2019

Weird. Я думаю, что это может быть ошибкой. «Исправление» состояло в том, чтобы изменить значение «Изменить размер кластера перед запуском:» с true на false. Если это не ошибка, то я не уверен, что понимаю вариант.

Если вы создаете конвейер через CLI, то запись будет: 

"resizeClusterBeforeRunning": "false"

Когда я изменил это значение, внезапно начали создаваться экземпляры EC2.

1 голос
/ 08 марта 2019

Единственная причина, по которой я могу придумать, если вы исчерпываете ресурс своей учетной записи EC2 limit . Datapipeline соблюдает этот предел.

Если вы не исчерпываете лимит, перейдите на консоль AWS для EMR , найдите соответствующий загруженный кластер >> Отладка >> проверьте журналы шагов, посмотрите, не выделяется ли что-нибудь.
Вы также можете запустить кластер EMR непосредственно из консоли и посмотреть, сможете ли вы развернуть более 1 подчиненных узлов ядра.
Кроме этой конфигурации, если вы хорошо выглядите, я бы порекомендовал обратиться в службу поддержки AWS для дальнейшей отладки.

...