OpenCORE, мультимедийный движок в Android, довольно строго придерживается различных стандартов. Некоторые вещи, которые могут работать в дикой природе (например, MP3 поверх RTSP), не поддерживаются, потому что их нет в соответствующей спецификации. По крайней мере, это то, что нам сказали.
Следовательно, возможно, что мультимедийный файл, который вы пытаетесь передать, немного не соответствует спецификации, или сервер немного не соответствует спецификации. Вы можете попытаться найти поток RTSP, который, как известно, работает на Android, настроить плеер на правильную работу с ним, а затем сосредоточиться на том, чтобы заставить его использовать ваши собственные потоки.