Я пытаюсь установить размер блока и размер группы строк для моего экземпляра hdfs для тестирования.Я зашел в spark-shell и сделал следующее:
scala> spark.sparkContext.hadoopConfiguration.get("dfs.block.size")
res1: String = 134217728
scala> spark.sparkContext.hadoopConfiguration.get("parquet.block.size")
res1: String = null
Мне интересно, правильно ли я понял имя для размера группы строк или оно отличается от используемой версии hadoop (2.7).Я получил имя отсюда: http://ingest.tips/2015/01/31/parquet-row-group-size/