Aws Glue: как сохранить DynamicFrame

Question

Есть ли способ сохранить DynamicFrame в Glue, как вы это делаете в Spark с dataframe.cache () или dataframe.persist ()?

Answer 1

Нет, в настоящее время нет возможности сохранить DynamicFrame напрямую. Однако вы можете преобразовать его в DataFrame и использовать df.persist() или df.cache(), а затем преобразовать его обратно в DynamicFrame, если необходимо:

val df = dynamicFrame.toDF()
val cachedDf = df.persist()
val dynamicFrameCached = DynamicFrame(cachedDf, glueContext)