как хранить данные по столбцу в разделе Spark DataFrames и иметь уникальные значения столбца в отдельных разделах - PullRequest
0 голосов
/ 02 ноября 2018
DataFrame d = df.repartition((4), df.col("col"));

Я использую версию spark 1.6 и java-код, df - это фрейм данных, содержащий все данные. Данные в столбцах раздела при копировании в виде SaveAsTextFile локально, раздел хранит для разных ключевых столбцов большой объем данных, которые были упомянуты при разбиении кадра данных.

Есть ли альтернативный способ хранения данных в локальном виде как секционированное значение?

...