Кодирование изображения в Jpeg2000 с использованием распределенных вычислений, таких как Hadoop - PullRequest
0 голосов
/ 29 ноября 2010

Просто интересно, кто-нибудь делал / знает о кодировании / сжатии большого изображения в формат JPEG2000 с использованием Hadoop?Также имеется http://code.google.com/p/matsu-project/, который использует карту для уменьшения изображения.

Размер изображения составляет около 1 ТБ +, а на одной машине это занимает 100 часов +

1 Ответ

0 голосов
/ 29 ноября 2010

Какого размера изображения вы говорите?Со страницы JPEG 2000 Wikipedia кажется, что мозаичные и вейвлет-преобразования должны быть легко распараллеливаемыми - плитки кажутся независимыми друг от друга.Существует библиотека с открытым исходным кодом под названием JasPer , которая, по-видимому, довольно широко используется, но написана на C, что сделает ее немного сложной интеграцией в Hadoop.

По сути, вам придется разделить кодек и вызвать соответствующие функции листов и кодирования на шаге карты, а затем собрать и записать изображение на шаге уменьшения.Вероятно, для этого потребуется достаточно глубокое понимание самого формата JPEG 2000.

Вопрос в том, сколько времени вы потратите на перемещение несжатых данных и их повторную сборку по сравнению с последовательной обработкой тайлов на одном компьютере?Возможно, вы захотите сделать некоторые подсчеты конвертов, чтобы посмотреть, стоит ли это того и какое теоретическое ускорение можно сравнить с выполнением на одной машине.

...