Как вы видите группы строк ваших файлов в hdfs

Question

Я наткнулся на эту страницу в jira, и я хотел бы знать, как получить такое же представление групп строк.Например:

Есть ли в hdfs команда, которая может показать это мне?

Answer 1

Я сообщил, что JIRA.Я использовал

parquet-tools meta /path/to/file.parquet | grep "row group"

, а затем отредактировал вывод вручную, чтобы выровнять числа.Кроме того, вы можете добавить | column -t для некоторого базового выравнивания.Хотя в этом случае числа будут выровнены по левому краю, а не выровнены по правому краю, по крайней мере, они будут выровнены один под другим.

parquet-tools сам по себе является недокументированным вспомогательным сценарием включенным в паркет-мр.Вместо этого вы можете просто позвонить

hadoop jar /path/to/parquet-tools-<VERSION>.jar

в кластере Hadoop или

java -jar /path/to/parquet-tools-<VERSION>.jar

локально.Для последнего вам необходимо собрать паркет, используя локальный профиль, то есть

mvn package -Plocal

Это описано в инструкциях по сборке .

Answer 2

Я предполагаю, что вывод parquet-tools просеян через grep, как

  $ parquet-tools meta --debug <file-name> | grep "row group"