Выражающая искра `StructType` в авро схеме

Question

Как бы вы описали тип данных spark StructType в схеме avro? Я создаю файл паркета, формат которого описан в схеме avro. Этот файл затем загружается из S3 в искру. Существуют типы данных array и map, но они не соответствуют StructType.

Answer 1

Используя пакет org. apache .spark. sql .avro (Spark 2.4), вы можете конвертировать схемы spark SQL в схемы avro и наоборот.

Вы не можете попробовать этот способ:

import org.apache.spark.sql.avro.SchemaConverters val sqlType = SchemaConverters.toSqlType(avroSchema) var rowRDD = yourGeneircRecordRDD.map(record => genericRecordToRow(record, sqlType)) val df = sqlContext.createDataFrame(rowRDD , sqlType.dataType.asInstanceOf[StructType])

Здесь вы также можете найти больше ответов: Код