Моя проблема заключалась в удалении представления, поэтому пришлось закомментировать эту строку:
mPlayerView.removeAllViews();
, и я также решил сохранить активность игрока до тех пор, пока приложение не запустится.Это также позволило избежать частых стартовых / завершающих звонков.С этим изменением я могу без проблем перемещаться между воспроизведением аудио и видео