Как создать динамический фрейм данных из файлов S3 в Glue Job в Scala?

Question

У меня проблемы с преобразованием Python Glue Job в Scala Glue Job, а именно метод create_dynamic_data_frame_options. В python синтаксис:

dyf = glueContext.create_dynamic_frame_from_options("s3",
                                        {'paths': file_paths},
                                         format="csv",
                                       format_options={"separator": ",", "quoteChar": '"'})

, где file_paths - это список ['s3://bucket1/file1.txt','s3://bucket2/file2.txt']. Как сделать то же самое в Scala?

Answer 1

Попробуйте это:

val file_paths = Array(
    "s3://bucket/data1",
    "s3://bucket/data2"
)

val dyf = glueContext.getSourceWithFormat(
    connectionType = "s3", 
    options = JsonOptions(Map("paths" -> file_paths)), 
    format = "csv", 
    formatOptions = JsonOptions(Map("separator" -> ",", "quoteChar": "\""))
).getDynamicFrame()