Вопрос все еще очень, очень неясен, но я отвечу, как смогу.
Если вы хотите делать кодирование / транскодирование видео в Java, независимо от (основного) формата, тогда лично ядумаю, что лучший вариант на сегодняшний день это Xuggler.Есть много видеоуроков, которые помогут вам разобраться в том, как его использовать, и хотя это может быть немного сложнее, когда вы преодолеете первоначальный барьер в обучении, это невероятно мощно.
Если вопрос должен это OGG, это зависит от ваших требований, и вам нужно быть намного более подробным, чтобы кто-нибудь мог дать правильный ответ.