Вы уже пробовали VLC 2.0?
Вики от VLC должны быть обновлены, чтобы дать вам рабочие примеры с VLC 2: http://wiki.videolan.org/Mosaic
Относительно изменений в вашей настройке мозаики - с VLC2 это будет включать следующее
(1) Вы уже заменили подделку: // - чтобы постоянно показывать ваше изображение, добавьте:
setup bg option image-duration=-1
(2) Параметры мозаики должны идти скомандная строка как в:
vlc -I telnet --mosaic-alpha=255 --mosaic-height=600 --mosaic-align=5 --mosaic-xoffset=0 [...] --vlm-conf /path/to/your/mosaic/config/file
(3) Перекодируйте вашу трансляцию bg и используйте там вспомогательный фильтр:
setup bg output #transcode{sfilter=mosaic,vcodec=h264,venc=x264{profile=baseline,level=30,aud},vb=768,width=800,height=600,scale=1}:standard{access=udp,mux=ts,dst=239.0.0.1:1234}
Надеюсь, что это поможет и направит вас в правильном направлении.