как получить доступные подсети на AWS EMR - PullRequest
0 голосов
/ 30 января 2020

Это код для создания кластера, но с жестко закодированным subnetId, теперь я хочу иметь список доступных su bnet до создания кластера.

cluster_id = connection.run_job_flow(
    Name=cluster_name,
    # Name='itx-agj-capture-emr-dev_Neustar_Automation_Test',
    LogUri='s3://aws-logs-314197852177-us-east-1/elasticmapreduce/',
    ReleaseLabel='emr-5.19.0',
    Applications=[{'Name': 'Hadoop'}, {'Name': 'Spark'}, {'Name': 'Hive'}],
    Instances={
        'InstanceGroups': [{'Name': "Master", 'Market': 'ON_DEMAND', 'InstanceRole': 'MASTER',
                            'InstanceType': instance_type, 'InstanceCount': 1, },
                           {'Name': "Slave", 'Market': 'ON_DEMAND', 'InstanceRole': 'CORE',
                            'InstanceType': instance_type, 'InstanceCount': instance_count, }],
        'Ec2KeyName': 'jnj_mrkt_emr_key_pair_001',
        'KeepJobFlowAliveWhenNoSteps': True,
        'TerminationProtected': False,
        'Ec2SubnetId': 'subnet-07d7ce78bf8ff8c46',
        'EmrManagedMasterSecurityGroup': 'sg-9f3433e9',
        'EmrManagedSlaveSecurityGroup': 'sg-d63136a0',
        'ServiceAccessSecurityGroup': 'sg-26c7c050',
    },
    VisibleToAllUsers=True,
    AutoScalingRole='EMR_AutoScaling_DefaultRole',
    JobFlowRole='VPCxEmrEc2Role',
    ServiceRole='arn:aws:iam::314197852177:role/itx/service/emr/VPCxEmrRole',
    Tags=[{'Key': 'Environment', 'Value': 'Development', },
          {'Key': 'Application', 'Value': 'APP000010030446', },
          {'Key': 'Name', 'Value': 'itx-agj-capture-emr-dev', }, ],
    Configurations=configurations,
    Steps=c_steps,

)
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...