Привязки высоконагруженных сервисов net.tcp или net.pipe вообще не для IIS.
Он будет работать только с IIS 7 + дополнительные 3 службы: WAS, Net. * Адаптер прослушивания и общий доступ к портам (событие, если вы не используете общий доступ). Это очень сложное решение. Вы должны настроить совместное использование порта , но однажды произойдет сбой с ошибкой сокета или канала. SelfHost не будет.
IIS не для потоковой передачи.
Вы не будете работать "напрямую с сетевым потоком". Вы будете работать с буферами памяти или временными файлами, поэтому потоковая передача не принесет вам пользы.
P.S. Это все о WCF 3.5 и IIS 7.5. Я надеюсь, что следующие версии будут намного лучше.