В чем разница между Java-объектом (как он представлен в памяти) и искровым SQL-объектом?

Question

Я читал во многих статьях и в "SparK: полное руководство", что представление структурированных данных spark-SQL (на низком уровне) не совпадает с java-объектами.

Строка вкнига выходит ниже ...

"Начиная с Spark 1.0, проект добавил Spark SQL, новый API для работы со структурированными данными - таблицами со структурным форматом данных, который не привязан к представлению Java в памяти. "

Если низкоуровневое представление Java-объекта отличается от представления по умолчанию JRE, то как JRE может правильно читать / записывать объекты?

Может кто-нибудь помочь мне понять это.

Спасибо!

Я не могу найти ни одной статьи, связанной с этим.

Answer 1

«Начиная с Spark 1.0, в проект был добавлен Spark SQL, новый API для работы со структурированными данными - таблицами со структурным форматом данных, который не привязан к представлению Java в памяти». -> Это объекты набора данных или строки

https://spark.apache.org/docs/2.3.0/api/java/index.html?org/apache/spark/sql/Dataset.html https://spark.apache.org/docs/2.1.0/api/java/org/apache/spark/sql/Row.html

Это означает, что это не пользовательский объект Java, а объект типа искры.

Вы также можете создавать собственные java-объекты в spark, используя rdd и spark-sql.

Также я советую пройти через https://spark.apache.org/docs/latest/rdd-programming-guide.html, а не смотреть на spark 1.0