Где минимальные / максимальные значения паркета? - PullRequest
Новая
       6

Где минимальные / максимальные значения паркета?

0 голосов
/ 10 января 2020

У меня есть набор данных, и я применяю sortWithinPartitions (в надежде использовать нажатия на предикаты), а затем пишу в паркет. Я ожидал увидеть минимальные / максимальные значения в нижнем колонтитуле, но ничего не было найдено 

responses = responses.withColumnRenamed("Price SQ Ft", "pp")
        .withColumn("Size", col("Size").cast("integer"))
        .sortWithinPartitions("Size").repartition(4);


responses.write().mode(SaveMode.Overwrite).parquet("out1/sort/sorted.text");

здесь находится нижняя часть одного из результирующих файлов паркета, где я ожидал увидеть минимальные / максимальные значения для размера столбец 

)org.apache.spark.sql.parquet.row.metadata�{"type":"struct","fields":[{"name":"MLS","type":"string","nullable":true,"metadata":{}},{"name":"Location","type":"string","nullable":true,"metadata":{}},{"name":"Price","type":"string","nullable":true,"metadata":{}},{"name":"Bedrooms","type":"string","nullable":true,"metadata":{}},{"name":"Bathrooms","type":"string","nullable":true,"metadata":{}},{"name":"Size","type":"integer","nullable":true,"metadata":{}},{"name":"pp","type":"string","nullable":true,"metadata":{}},{"name":"Status","type":"string","nullable":true,"metadata":{}}]}Iparquet-mr version 1.8.2 (build c6522788629e590a53eb79874b95f6c3ff11f16c)RPAR1
...