Mplayer должен сделать это за вас, и есть библиотеки и кодеки, которые вы можете вызывать (PHP поддерживает библиотеки C), которые будут извлекать видео из потока AV на лету.
Учитывая, что вы нацеливаетесь на YouTube, ваша работа немного проще, потому что они используют очень небольшое подмножество кодировок файлов.
Если вы потратите время на изучение формата, вы можете очень легко удалить видеопоток на лету и вернуть только аудиопоток.
Если вы дадите немного больше информации, например, о том, для чего вы ее кодируете, или о том, где она закончится, мы сможем помочь вам более конкретно.
-Adam