Я пытаюсь преобразовать часть своего кода pySpark в Scala для повышения производительности. В AWS Glue (который использует Apache Spark) сценарий автоматически создается для вас, и он обычно использует объект DynamicFrame для загрузки, преобразования и записи данных. Однако класс DynamicFrame не обладает всеми теми же функциональными возможностями, что и класс DataFrame, и время от времени вам приходится конвертировать обратно в объект DataFrame и наоборот для выполнения определенных операций. Ниже показано, как я конвертировал из DataFrame в DynamicFrame объекты в pySpark:
// PySpark version
// datasource is a DynamicFrame object
datasource0 = datasource.toDF().limit(5000000)
applymapping1 = DynamicFrame.fromDF(datasource0, glueContext, "applymapping1")
Существует ли в Scala эквивалентная функция fromDF для возврата обратно к DynamicFrame объекту?