Нет, новые потоки не могут быть добавлены после записи заголовка.libavformat проверяет, имеет ли входящий пакет для записи индекс потока за пределами [0,nb_streams-1]
и будет ли сбой, если он это сделает.
Можно создать контейнер, подобный MPEG-TS, для включения новых потоков, но ffmpeg не поддерживает это.