Имеется простой класс case с аннотацией типа @Bar:
case class Foo(
field: Option[String] @Bar
)
преобразование RDD[Foo] в Dataset[Foo] не выполняется во время выполнения со следующей трассировкой стека:
User class threw exception: scala.MatchError: scala.Option[String] @Bar (of class scala.reflect.internal.Types$AnnotatedType)
at org.apache.spark.sql.catalyst.ScalaReflection$$anonfun$org$apache$spark$sql$catalyst$ScalaReflection$$serializerFor$1.apply(ScalaReflection.scala:483)
at ...
Билет открыт для этой проблемы ( SPARK-27625 ). Однако есть ли обходной путь?
Использование искры 2.3.2