отсутствует класс регистрации искры крио

Question

При форсировании регистрации крио через spark.kryo.registrationRequired", "true" в spark 2.2 моя ошибка равна

Class is not registered: org.apache.spark.sql.catalyst.InternalRow[]

даже при использовании:

.registerKryoClasses(
          Array(classOf[scala.collection.mutable.WrappedArray.ofRef[_]],
                classOf[org.apache.spark.sql.catalyst.InternalRow])
        )

Очевидно, InternalRow[] не будет компилироваться в scala.Что мне здесь не хватает?

Answer 1

Как зарегистрировать InternalRow в Kryo в Spark приводит меня к правильному ответу.

classOf[Array[org.apache.spark.sql.catalyst.InternalRow]]

требуется.Тем не менее, по мере продвижения вперед необходимо добавлять дополнительные классы искры.