Только что обнаружил эту ошибку при тестировании некоторых функций Spark, пытаясь построить данные из файла паркета с заданной схемой.
Caused by: java.lang.RuntimeException: com.sample.MyClass is not a valid external type for schema of struct<...>
Как Spark преобразует это в StructType поле? Я также попытался обернуть необходимые поля внутри кортежа, но пока что не повезло.
val field =
StructField(Sample,
StructType(
List(
StructField(InnerField, MapType(StringType, StringType))
)
))
Разве не достаточно с классом POJO, который соответствует в атрибутах с данным StructType? Если нет, что является эквивалентом в Java для StructType и как я могу сделать это для приведения?