Большинство потоков rtmp в моем опыте, как правило, не MP4. Хотя нет ничего особенно умного в потоковой передаче rtmp, и если вы действительно не можете найти что-то, что соответствовало бы вашим потребностям, вам нужно взять копию rtmpdump, скопировать поток в файл и воспроизвести его.
Кстати, я сейчас играю с инструментарием IBM MP4 sdk, который можно загрузить с http://www.alphaworks.ibm.com/tech/tk4mpeg4. Кажется, это довольно просто: в прошлом, в разархивированном виде демо-приложение Swing проигрывало MP4 в NetBeans менее чем за 5 минут. Если поток, с которым вы говорите, действительно MP4, вы, вероятно, могли бы выяснить, как довольно быстро подключить его к потоку из того, что я вижу в API IBM MP4.