Я считаю, что когда вы хотите написать аудио / видео приложение, язык программирования, который вы будете использовать, является вторым по важности. Самая важная вещь - это аудио / видео фреймворк, который будет использовать ваше приложение, поскольку именно это определяет ваши возможности.
Мне известны две популярные универсальные видеокарты, которые можно использовать для доступа к большинству типов мультимедиа: Directshow и ffmpeg. Directshow связано с окнами, поэтому остается только ffmpeg.
Ffmpeg имеет версии как для Windows, так и для Unix, и, хотя он написан на C, он может использоваться на многих языках.
Существует даже несколько java-оболочек для ffmpeg (например, посмотрите на xuggle)!