Почему мы не используем oop записываемых типов данных в искре? - PullRequest
1 голос
/ 27 февраля 2020

In имел oop мы не используем java сериализацию, так как она громоздкая и медленная. * * * * * * * * * * * * *

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *} Т.е. по умолчанию мы используем сериализацию java, и если мы не хотим использовать сериализацию java, то мы можем используйте сериализацию Kryo. У меня вопрос: Почему мы не можем (не) использовать oop Записываемую сериализацию в Spark? Поскольку мы знаем, что она компактная и быстрая.

1 Ответ

1 голос
/ 27 февраля 2020

Вы можете использовать форматы ввода и вывода (которые набираются Writables) через newAPIHad oop методы чтения / записи SparkContext

https://spark.apache.org/docs/current/api/java/org/apache/spark/SparkContext.html#newAPIHadoopRDD (org. apache .had oop .conf.Configuration,% 20 java .lang.Class,% 20 java .lang.Class,% 20 java .lang.Class)

...