Поле конфигурации безопасности для AWS Data Pipeline EmrCluster - PullRequest
Новая
       36

Поле конфигурации безопасности для AWS Data Pipeline EmrCluster

0 голосов
/ 15 мая 2018

Я создал кластер EMS AWS с помощью обычного мастера кластеров EMR на консоли управления AWS, и мне удалось выбрать конфигурацию безопасности, например, при экспорте команды CLI это --security-configuration 'mySecurityConfigurationValue'.

IТеперь нужно создать аналогичную EMR через конвейер данных AWS, но я не вижу вариантов, в которых я могу указать это поле конфигурации безопасности.

Единственные похожие поля, которые я вижу, - это EmrManagedSlaveSecurityGroup, EmrManagedMasterSecurityGroup, AdditionalSlaveSecurityGroups, AdditionalMasterSecurityGroupsи SubnetId.Я уже заполнил все эти данные в своей конфигурации конвейера, но мне просто нужно указать конфигурацию безопасности.Есть мысли?

1 Ответ

0 голосов
/ 17 мая 2018

К сожалению, DataPipeline не поддерживает функцию конфигураций безопасности (а также другие функции, которые были представлены в версиях EMR 5.x, например использование пользовательского AMI).

Одним из решений для этого является:

  1. Замените EmrCluster в вашем конвейере ресурсом EC2
  2. Используйте ShellCommandActivity на ресурсе EC2 для запуска команды aws emr create-cluster CLI
  3. Используйте шаг начальной загрузки, чтобы установить TaskRunner в кластере
  4. Замените все свойства runsOn в конвейере на workerGroup, чтобы задачи выполнялись в кластере EMR, созданном на шаге 2
  5. Добавьте окончательный ShellCommandActivity в конце конвейера, чтобы завершить кластер с помощью CLI

Теперь, поскольку вы раскручиваете свой кластер с помощью интерфейса командной строки, у вас есть доступ ко всем видам функций, таких как конфигурации безопасности, настраиваемые AMI, флоты экземпляров и т. Д., И вы по-прежнему можете координировать задачи, используя DataPipeline.

...