Нет условий для преобразования Spark DataFrame в AWS Glue DynamicFrame в Scala

Question

Нет эквивалента приведенного ниже кода для преобразования из Spark DataFrame в Glue DynamicFrame, это намеренно, какой обходной путь?

# Convert to a dataframe and partition based on "partition_col"
partitioned_dataframe = datasource0.toDF().repartition(1)

# Convert back to a DynamicFrame for further processing.
partitioned_dynamicframe = DynamicFrame.fromDF(partitioned_dataframe, glueContext, "partitioned_df")

Answer 1

Используйте это:

# Convert Spark's DataFrame to Glue's DynamicFrame
val partitioned_dynamicframe = DynamicFrame(partitioned_dataframe, glueContext)