DefaultArguments AWS Glue API не работает - PullRequest
Новая
       15

DefaultArguments AWS Glue API не работает

0 голосов
/ 14 марта 2019

При создании задания я указываю аргумент согласно документации здесь : 

self.client = boto3.client(
    'glue',
    region_name='ap-south-1',
    aws_access_key_id=os.getenv('AWS_ACCESS_KEY_ID'),
    aws_secret_access_key=os.getenv('AWS_SECRET_ACCESS_KEY'),
)
self.response_de_job = self.client.create_job(
    Name=name,
    Role=iam_role,
    Command={
        'Name': command,
        'ScriptLocation': script_location
    },
    DefaultArguments={'--extra-py-files':'s3://****'},
    MaxRetries=MaxRetries,
    MaxCapacity=MaxCapacity,
    ExecutionProperty=ExecutionProperty,
    Description=Description,
    Timeout=Timeout
)

Однако изменения не отражаются в описании задания и при его запускечерез start_job_run api выдает ошибку: cannot import user_etl - это файл, который я хочу, чтобы Glue включил в путь Python.Примечание: я могу сделать это из пользовательского интерфейса, но не через код Python3.

...