Это код для создания кластера, но с жестко закодированным subnetId, теперь я хочу иметь список доступных su bnet до создания кластера.
cluster_id = connection.run_job_flow(
Name=cluster_name,
# Name='itx-agj-capture-emr-dev_Neustar_Automation_Test',
LogUri='s3://aws-logs-314197852177-us-east-1/elasticmapreduce/',
ReleaseLabel='emr-5.19.0',
Applications=[{'Name': 'Hadoop'}, {'Name': 'Spark'}, {'Name': 'Hive'}],
Instances={
'InstanceGroups': [{'Name': "Master", 'Market': 'ON_DEMAND', 'InstanceRole': 'MASTER',
'InstanceType': instance_type, 'InstanceCount': 1, },
{'Name': "Slave", 'Market': 'ON_DEMAND', 'InstanceRole': 'CORE',
'InstanceType': instance_type, 'InstanceCount': instance_count, }],
'Ec2KeyName': 'jnj_mrkt_emr_key_pair_001',
'KeepJobFlowAliveWhenNoSteps': True,
'TerminationProtected': False,
'Ec2SubnetId': 'subnet-07d7ce78bf8ff8c46',
'EmrManagedMasterSecurityGroup': 'sg-9f3433e9',
'EmrManagedSlaveSecurityGroup': 'sg-d63136a0',
'ServiceAccessSecurityGroup': 'sg-26c7c050',
},
VisibleToAllUsers=True,
AutoScalingRole='EMR_AutoScaling_DefaultRole',
JobFlowRole='VPCxEmrEc2Role',
ServiceRole='arn:aws:iam::314197852177:role/itx/service/emr/VPCxEmrRole',
Tags=[{'Key': 'Environment', 'Value': 'Development', },
{'Key': 'Application', 'Value': 'APP000010030446', },
{'Key': 'Name', 'Value': 'itx-agj-capture-emr-dev', }, ],
Configurations=configurations,
Steps=c_steps,
)