Я пытаюсь использовать boto3 для запуска конечной точки разработки клея со следующим кодом:
import boto3
glueClient = boto3.client('glue', 'us-east-1')
glueClient.create_dev_endpoint(
EndpointName = name,
RoleArn = role,
PublicKey = publicKey,
NumberOfNodes = 2,
GlueVersion= "1.0",
Arguments = {
"GLUE_PYTHON_VERSION": "3"
}
)
Однако я получаю сообщение об ошибке:
Parameter validation failed:
Unknown parameter in input: "GlueVersion", must be one of:
EndpointName, RoleArn, SecurityGroupIds, SubnetId, PublicKey,
PublicKeys, NumberOfNodes, ExtraPythonLibsS3Path, ExtraJarsS3Path,
SecurityConfiguration, Tags, Arguments
Я понимаю; Это говорит о том, что я не могу указать версию клея таким образом. Однако в документации boto3 указано иное и утверждается, что GlueVersion является допустимым параметром. Что дает? Мне нужен Spark 2.4, и по умолчанию это Spark 2.2. Я попытался добавить параметр GlueVersion в Arguments
dict, но безрезультатно.
EDIT: я должен добавить, что использую последнюю версию Boto3; 1,14,5