Есть идеи написать сжатый текстовый файл в hdfs от Flink BucketingSink с отказоустойчивостью? - PullRequest
0 голосов
/ 13 мая 2019

В последнее время мы выполняем работу по записи сжатого (gzip) текстового файла в hdfs с помощью BucketingSink из Apache Flink.Однако проблема заключается в том, что всякий раз, когда происходит сбой, он генерирует файл действительной длины (для hadoop <2.7) или усекает файл (для hadoop> = 2.7).Однако gzip - это двоичный формат, и усечение не работает просто.Любые хорошие идеи могут помочь мне?Большое спасибо!

...