Как использовать Boto3 создать aws клей работу с дополнительными файлами JAR? - PullRequest
0 голосов
/ 16 января 2020

Я пытаюсь создать клейкое задание aws из моего задания python с помощью boto3 для доступа к данным в базе данных HP Vertica. Для этого мне нужно передать файл JAR драйвера Vertica в работу.

Я пытался использовать --extra-jars, но, похоже, он не работает. Это напоминает мне ошибку не в состоянии найти драйвер java класса. Кто-нибудь может помочь? Я использую файл jar драйвера vertica-jdb c -9.3.1-0.jar (763kb), и мой текущий скрипт склейки выглядит как

myJob = glue.create_job(Name='james_test_glue_job', 
                        Role='some-good-glue',
                        Command={'Name': 'glueetl','ScriptLocation': 's3://path','PythonVersion': '3'},
                        Connections={'Connections': ['mssql connection']},
                        DefaultArguments={'--extra-py-files': 'pyfile-path', '--extra-jars': 'vertica-driver-path'},
                        MaxRetries=0,
                        MaxCapacity=12.0,
                        Timeout=2880,
                        GlueVersion='1.0'
                        )

1 Ответ

0 голосов
/ 17 января 2020

выяснил проблему, необходимую для выдачи --extra-jars также в start_job_run ()

glue.start_job_run (JobName = 'your-job-name', Arguments = {"- extra -jars ":" s3: // jar_path "})

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...