Вы хотите просто обслуживать контент или иметь что-то вроде плеера в веб-браузере, где пользователь может выбирать свои файлы (или что-то в этом роде?), Потому что, если вы просто обслуживаете контент, лучшим способом будет преобразовать его в FLV на стороне сервера, используя что-то вроде ffmpeg, а затем просто использовать флэш-плеер. Если вы не хотите использовать флэш-память, HTML5-видео также подойдет.
Если вы определенно хотите пойти по маршруту апплета, то вы можете заключить в апплет что-то вроде VLCj и использовать его. Вам нужно будет включить libvlc.dll / so, и вам нужно убедиться, что он подписан, но если вы это сделаете, он должен работать.