Каков наилучший способ справиться с большим количеством наборов данных различного типа (тематические классы) - PullRequest
0 голосов
/ 29 марта 2019

У меня более 50 разных классов, и каждый из них привязан к разному источнику паркета

val cc1ds = spark.read("/hdfs/input1").as[cc1]
val cc2ds = spark.read("/hdfs/input1").as[cc2]
...
val cc50ds = spark.read("/hdfs/input1").as[cc50]

как обращаться с ними в случае необходимости их обработки? Я не могу использовать

val res:(dataset[cc1], ... dataset[cc50]) = (cc1ds, ... cc50ds)

и я бы хотел избежать определения стольких значений

...