С помощью vlcj 3.x вы можете получить список поддерживаемых расширений файлов, например:
import uk.co.caprica.vlcj.filter.AudioFileFilter;
import uk.co.caprica.vlcj.filter.PlayListFileFilter;
import uk.co.caprica.vlcj.filter.SubTitleFileFilter;
import uk.co.caprica.vlcj.filter.VideoFileFilter;
...
System.out.println(Arrays.toString(AudioFileFilter.INSTANCE.getExtensions()));
System.out.println(Arrays.toString(VideoFileFilter.INSTANCE.getExtensions()));
System.out.println(Arrays.toString(PlayListFileFilter.INSTANCE.getExtensions()));
System.out.println(Arrays.toString(SubTitleFileFilter.INSTANCE.getExtensions()));
Эти классы реализации фильтра файлов также можно использовать в качестве фильтров в диалоговом окне выбора файлов Swing.
В vlcj 4.x это было перенесено в отдельный проект vlcj-file-filters: https://github.com/caprica/vlcj-file-filters