Вот интересная часть вашего кода ...
mediaPlayer.playMedia(mrl, options);
try {
Thread.sleep(5000);
} catch (InterruptedException e) {
e.printStackTrace();
}
mediaPlayer.stop();
mediaPlayer.release();
Почему вы проигрывали медиа, проспали 5 секунд и сразу же остановились?Возможно, именно поэтому вы получаете очень маленький размер файла во время записи экрана.Из того, что я заметил, транскод не настолько быстр, поэтому размер файла не увеличивается сразу (возможно, из-за буферизации во время транскодирования, я думаю ...)
Лучше всего создатькаждая кнопка для действия воспроизведения / записи и для действия остановки.