Ogg - это контейнерный формат. Возможно, вам потребуется либо использовать некоторые инструменты формата Ogg, чтобы прикрепить ваши данные непосредственно к существующему файлу, либо перенаправить данные в другой формат контейнера, где у вас есть инструменты для прикрепления ваших данных.
Форматы могут быть WAV / RIFF, Matroska, MP4. Это также, возможно, зависит от того, что именно представляют собой эти дополнительные данные, больше похоже на миниатюру или дополнительный поток (комментарии пользователей с метками времени и т. Д.).
Популярной платформой для таких манипуляций в .NET является библиотека DirectShow.NET, но по мере уточнения ваших потребностей вы можете использовать другой инструмент.
См. Также соседний поток с фрагментом кода: Кодирование Ogg to Riff / Wave с помощью acm