Какой самый быстрый и самый эффективный в использовании инструмент декомпрессии BZip2 для использования в Java

Question

В настоящее время используется пакет Apache Commons Compress, который использует около 60% общей кучи и занимает около 6 минут для распаковки около 500 файлов каждые 4-5 МБ при распаковке файлов BZip2.

Моя главная проблема - я могуЯ не нашел ничего, с чем можно сравнить эту производительность, я обнаружил AT4J, но реализация этого согласно документации приводит к исключению ArrayIndexOutOfBoundsException при попытке прочитать один из файлов в буфер.Для немногих файлов, которые ему удалось обработать, производительность была довольно схожей, и тот факт, что AT4J включает классы компрессоров от Commons Compress для предоставления «дополнительной опции», подразумевает, что это ожидаемо.

Кто-нибудь знает о каких-либодругие библиотеки Java для распаковки файлов BZip2 и, если да, то есть ли они для сравнения с Apache?

Заранее спасибо.

Answer 1

Этот тест различных методов сжатия показывает, что они получают 6 МБ / с с распаковкой BZip2

https://tukaani.org/lzma/benchmarks.html

Это говорит о том, что ваши 2,2 ГБ данных должны занимать около 6 минут, даже с нативнымlibrary.

Если вы хотите ускорить это, я предлагаю использовать несколько потоков или использовать gzip, который намного быстрее.