Как я могу использовать S3 с помощью клея AWS? - PullRequest
Новая
       24

Как я могу использовать S3 с помощью клея AWS?

0 голосов
/ 22 октября 2019

Я пробовал разбивать на разделы и группировать, используя AWS Glue на S3. Но ведро не сработало. Работало только разбиение. Как я могу использовать ковш с AWS Glue? 

datasink4 = glueContext.write_dynamic_frame.from_options(
    frame = dropnullfields3,
    connection_type = "s3",
    connection_options = {"path": s3_output_full,
                          "partitionKeys": ["PARTITIONKEY"],
                          "bucketColumns": ["ROW_ID"],
                          "numberOfBuckets": 12},
    format = "parquet",
    transformation_ctx = "datasink4")

job.commit()
...