Spark Kryo зарегистрироваться для класса массива - PullRequest
Новая
       27

Spark Kryo зарегистрироваться для класса массива

0 голосов
/ 09 января 2019

Я пытаюсь зарегистрировать класс с массивом (Spark Java с активированным Kryo), журнал показывает четкое сообщение: 

Class is not registered: org.apache.spark.sql.execution.datasources.InMemoryFileIndex$SerializableBlockLocation[]

Я написал несколько комбинаций, но они не работают: 

        kryo.register(Class.forName("org.apache.spark.sql.execution.datasources.InMemoryFileIndex$SerializableBlockLocation[]")); // ERROR
        kryo.register(Class.forName("org.apache.spark.sql.execution.datasources.InMemoryFileIndex$SerializableBlockLocation[].class")); // ERROR
        kryo.register(Class.forName("org.apache.spark.sql.execution.datasources.InMemoryFileIndex$SerializableBlockLocation$Array")); // ERROR
        kryo.register(Class.forName("[org.apache.spark.sql.execution.datasources.InMemoryFileIndex$SerializableBlockLocation")); // ERROR
        kryo.register(Class.forName("[Lorg.apache.spark.sql.execution.datasources.InMemoryFileIndex$SerializableBlockLocation")); // ERROR
        kryo.register(Class.forName("Array[org.apache.spark.sql.execution.datasources.InMemoryFileIndex$SerializableBlockLocation]")); // ERROR
        kryo.register(Class.forName("[[org.apache.spark.sql.execution.datasources.InMemoryFileIndex$SerializableBlockLocation"));  // ERROR

Я также пытался написать класс регистрации без Class.forName, но Java не может разрешить символ InMemoryFileIndex$SerializableBlockLocation: 

kryo.register(org.apache.spark.sql.execution.datasources.InMemoryFileIndex$SerializableBlockLocation[].class);

Все остальные классы работают в моем KryoRegister.class.

1 Ответ

0 голосов
/ 01 февраля 2019

Я нашел похожий вопрос здесь , попробуйте: 

kryo.register(Array.newInstance(Class.forName("org.apache.spark.sql.execution.datasources.InMemoryFileIndex$SerializableBlockLocation"), 0)
                        .getClass());
...