Firehose отправляет данные на s3 в сжатой сжатой форме, а его формат кадрирования имеет oop совместимость . Я загружаю этот файл snappy и пытаюсь распаковать его в scala, используя эту библиотеку.
val input: Array[Byte] = Files.readAllBytes(Paths.get("/path/to/prod-a8d272bb-b7af-4141-bdba-6965b343a75f.snappy"))
val uncompressed: Array[Byte] = Snappy.uncompress(input)
Что выдает ошибку
Exception in thread "main" java.io.IOException: FAILED_TO_UNCOMPRESS(5)
at org.xerial.snappy.SnappyNative.throw_error(SnappyNative.java:98)
Можно создать Had oop Snappy-совместимый сжатый поток, используя SnappyHadoopCompatibleOutputStream, но в моем случае мне нужно распаковать уже сгенерированный сжатый файл. Это возможно с этой библиотекой? или, если нет, есть ли другая библиотека, которую я мог бы использовать?