С https://exoplayer.dev/playlists.html
Можно динамически изменять список воспроизведения, добавляя, удаляя и перемещая MediaSources в ConcatenatingMediaSource. Это можно сделать как до, так и во время воспроизведения, вызвав соответствующие методы ConcatenatingMediaSource. Плеер автоматически обрабатывает изменения во время воспроизведения правильным образом. Например, если воспроизводимый в настоящий момент MediaSource перемещен, воспроизведение не прерывается, и его новый преемник будет воспроизведен после завершения. Если воспроизводимый в настоящее время MediaSource удаляется, проигрыватель автоматически переходит к воспроизведению первого оставшегося преемника или переходит в конечное состояние, если такого преемника не существует.
Вы можете создать свои источники и затем просто добавить их в список воспроизведения с помощью вызова addMediaSource (см. ссылку здесь )
Без какого-либо примера кода или более подробно трудно точно сказать, что вы пытаетесь сделать , но я ожидаю, что решение будет включать в себя ленивое создание источников и добавление их в список воспроизведения при их создании.