Как динамически построить класс модели в Spark и Scala

Question

Как динамически построить класс модели в Spark и Scala, когда у меня более 100 атрибутов полей. Как и мы, мы строим модель / Pojo в Core Java, используя файл Thrift или Xml или JSON.

Answer 1

Я думаю, что вы ищете

https://github.com/julianpeeters/case-class-generator#case -класс-генератор

Динамически определяет и загружает Scala классов во время выполнения. Полезно для преобразования JSON схем в Scala case-классы на лету. Позволяет данным времени выполнения служить Scala определениями класса дел:

Особенности:

1. Классы дел, определенные и загруженные во время исполнения
2. Псевдо-провайдер типов через псевдоним типа

Зависимость:

"com.julianpeeters" %% "case-class-generator" % "0.7.1"

Этот проект также поддерживает scala 2.11.