Чтение паркетного файла, созданного с использованием каскадирования - PullRequest
Новая
       61

Чтение паркетного файла, созданного с использованием каскадирования

0 голосов
/ 19 февраля 2020 
Pipe parquetPipe = new Pipe("name",inputPipe);

Scheme sinkScheme =  new ParquetTupleScheme(finalSinkFieldsParquet, finalSinkFieldsParquet,  "message ReadWriteParquet {"+TapLocations.getScheme(finalSinkFieldsParquet)+"}");

Tap sinkParquet = new Hfs(sinkScheme, "outputpath" ,SinkMode.REPLACE);

flowDef.addTailSink(new Pipe(parquetPipe.getName()+"_parquet",parquetPipe), sinkParquet);

Я сгенерировал паркетный файл из partfiles в oop, используя код выше. Однако я получаю следующую ошибку:

org. apache .parquet.io.ParquetDecodingException: Невозможно прочитать значение в 1 в блоке 0 в файле "filename"

при чтении с использованием следующей команды 

hadoop jar parquet-tools-1.11.0.jar cat --json "output parquet file.parquet"
...