Набор регистраций крио по умолчанию для spark / scala - PullRequest
Новая
       30

Набор регистраций крио по умолчанию для spark / scala

1 голос
/ 28 мая 2019

Я сталкиваюсь с множеством классов, требующих kryo регистрации. Существует ли регистрация по умолчанию для распространенных spark классов, которые могут помочь?

Вот список классов, которые мне пришлось добавить до сих пор - и конца этому не видно: 

  conf.registerKryoClasses(Array(classOf[Row]))
  conf.registerKryoClasses(Array(classOf[InternalRow]))
  conf.registerKryoClasses(Array(classOf[Array[InternalRow]]))
  conf.registerKryoClasses(Array(classOf[scala.reflect.ClassTag$$anon$1]))
  conf.registerKryoClasses(Array(classOf[org.apache.spark.sql.catalyst.expressions.UnsafeRow]))
  conf.registerKryoClasses(Array(classOf[Array[org.apache.spark.sql.types.StructType]]))
  conf.registerKryoClasses(Array(classOf[org.apache.spark.sql.types.StructType]))

1 Ответ

0 голосов
/ 28 мая 2019

Это на самом деле не ответ, а частичное объяснение поведения. Был какой-то старый код, который заставлял kryo быть конкретным: 

 val conf: SparkConf = new SparkConf()
  .set("spark.kryo.registrationRequired", "true")

Я удалил эту строку, и затем жалобы на «отсутствие регистрации» волшебным образом исчезли.

...