Есть ли способ указать более новую версию boto3 для заданий pyspark glue? - PullRequest
0 голосов
/ 13 января 2020

Проблема:

В настоящее время я пытаюсь запустить некоторые команды boto3 для быстрой проверки на pyspark Glue. Когда я пытаюсь создать клиент boto3, я получаю сообщение об ошибке ниже. Я нашел версию, которая используется в Glue (версия boto3: 1.8.9) с помощью кода ниже. Есть ли способ обновить версию для Glue Pyspark Jobs?

Я попытался обновить файл яйца, используемый в работе, но это не сработало. Я также пытался обновить версию boto3 в коде (ниже), но для этого требуются повышенные разрешения.

Python Код для обновления:

import pip

pip.main(['install', '--upgrade', 'boto3'])

Python код для поиска версии :

 print(f"boto3 version: {boto3.__version__}")

Сообщение об ошибке:

{'исключение': "Не удалось получить панели мониторинга quicksight для учетной записи {account # удалены} с ошибкой: неизвестный сервис: 'quicksight'. Допустимые имена служб: acm, acm-pca, alexaforbusiness, apigateway, автоматическое масштабирование приложений, appstream, appsyn c, athena, автоматическое масштабирование, планы автоматического масштабирования, пакет, бюджеты, ce, cloud9, каталог облачных хранилищ, cloudformation, cloudfront, cloudhsm, cloudhsmv2, cloudsearch, cloudsearchdomain, cloudtrail, cloudwatch, codebuild, codecommit, codedeploy, codepipeline, codestar, cognito-identity, cognito-idp, cognito-syn c, понимать, конфигурировать, подключать, cur, datapipeline, dax, devicefarm, directconnect , discovery, dlm, dms, ds, динамодаб, динамодбстримы, ec2, ecr, ecs, efs, eks, эластичная боль, эластичный стебель, эластичный транскодер, elb, elbv2, emr, es, events, firehose, fms, gamelift, ледник, клей, greengrass, guardduty, health, iam, importexport, инспектор, iot, iot-data, iot-jobs-data, iot1click-устройства, iot1click-projects, iotanalytics, kinesis, kinesis-video-archived-media, kinesis-video-media, kinesisanalytics, kinesisvideo, kms, lambda, lex-модели, lex-runtime, световой парус, журналы, машинное обучение, ma cie, право на рынке, marketplacemerceanalytics, mediaconvert, medialive, mediapackage, mediastore, mediastore-data, mediatailor, meteringmarketplace, mgh, mobile, mq, mturk, neptune, opsworks, opsworkscm, организации, пи, точная, polly, ценообразование, rds, красное смещение, признание, ресурс- groups, resourcegroupstaggingapi, route53, route53domains, s3, sagemaker, sagemaker-runtime, sdb, secretsmanager, serverlessrepo, servicecatalog, servicediscovery, ses, щит, подписывающее лицо, sms, снежный ком, sns, sqs, ssm, stepfunctions, storagegateway, sts, поддержка, SWF, транскрибировать, переводить, ваф, ваф-региональный, рабочие документы, рабочие документы l, рабочие пространства, xray "," имя_таблицы ":" наборы данных "," выполнение ":" перестроить "}

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...