Бото: как сохранить рабочий поток EMR после завершения / сбоя? - PullRequest
Новая
       9

Бото: как сохранить рабочий поток EMR после завершения / сбоя?

1 голос
/ 01 ноября 2011

Как добавить шаги в ожидающий поток работ Amazon EMR с помощью boto без завершения потока работ после его завершения?

Я создал интерактивный поток заданий на Amazon Elastic Map Reduce и загрузил несколько таблиц. Когда я передаю новые шаги потоку работ, используя Boto's emr_conn.add_jobflow_steps(...), поток работ прекращается после того, как он завершается или завершается неудачей.

Я знаю, что могу запустить поток работ с помощью boto, используя run_jobflow с параметром keep_alive, но я бы хотел работать с уже запущенными потоками.

Ответы [ 3 ]

3 голосов
/ 29 января 2012

Если он заканчивается правильно, он не должен заканчиваться на keep_alive=True. Тем не менее, он обычно завершается при ошибке, поэтому вы хотите добавить terminate_on_failure="CONTINUE" к вашим add_job_steps аргументам.

2 голосов
/ 19 мая 2015

Я использую что-то вроде этого

создать с 

import boto.emr

conn = boto.emr.connect_to_region('us-west-2')
jobid = conn.run_jobflow(name='cluster-name',
                     ec2_keyname="yourkeyhere",
                     num_instances=3,
                     master_instance_type='m1.medium',
                     slave_instance_type='m1.medium',
                     keep_alive=True,
)

добавить задание в существующий кластер с помощью (немного подождите, пока кластер перейдет в состояние ожидания) 

import boto.emr

conn = boto.emr.connect_to_region('us-west-2')
# get the list of waiting cluster and take the first one
jobid =  conn.describe_jobflows(states=["WAITING"])[0].jobflowid
print jobid
flow_steps = list()
runThing = boto.emr.step.ScriptRunnerStep(
                        name="job step name",
                        step_args = ["s3://yours3bucket/dosmthg.sh"])
flow_steps.append(runThing)
conn.add_jobflow_steps(jobid, flow_steps)

примечания

  • вам необходимо заполнить ~ / .aws / учетные данные (настройка aws)
  • Амазонка us-west-2 в настоящее время имеет более свежую версию ami
  • возможно, вам придется добавить bootstrap_actions =, если вам нужны шаги по установке кустов, свинок или нестандартных
0 голосов
/ 02 марта 2017

Вы также можете сделать это с флагом KeepJobFlowAliveWhenNoSteps. 

response = emr.run_job_flow(
        Name="start-my-cluster",
        ReleaseLabel="emr-5.3.1",
        LogUri='s3://logs',
        Instances={
            'InstanceGroups': [
                {'Name': 'EmrMaster',
                 'InstanceRole': 'MASTER',
                 'InstanceType': 'm3.xlarge',
                 'InstanceCount': 1},
                {'Name': 'EmrCore',
                 'InstanceRole': 'CORE',
                 'InstanceType': 'm3.xlarge',
                 'InstanceCount': 2}
            ],
            'Ec2KeyName': 'my-key-name',
            'KeepJobFlowAliveWhenNoSteps' : True,
        },
        Applications=[{'Name': 'Hadoop'}, {'Name': 'Spark'}, {'Name': 'Hive'}],
        JobFlowRole='EMR_EC2_DefaultRole',
        ServiceRole='EMR_DefaultRole',
        VisibleToAllUsers=True,
        Steps=[
            # steps go here...
        ]
        )
...