http://msdn.microsoft.com/en-us/library/ms731913.aspx
WCF поддерживает потоковую передачу с некоторыми ограничениями.
Можете ли вы рассказать нам немного о проекте? Я спрашиваю об этом, потому что могут быть лучшие варианты, чем получение больших объемов данных. Например, если вы получаете данные из базы данных и помещаете их в лист Excel, может быть лучше просто использовать базу данных и вообще забыть WCF.
Если вы хотите добавить сервисный слой в базу данных, вы должны рассмотреть OData или, по крайней мере, разместить логику Excel на клиентском компьютере, чтобы вы могли получить доступ к записям по одной за раз.
Если проблема связана с производительностью, вы можете рассмотреть альтернативные привязки, такие как TPC или IPC, в которых используется более эффективный сериализатор двоичных контрактов.
Если вы предпочитаете не рассматривать альтернативы, я бы лично использовал формат CSV или разделенный табуляцией формат с соответствующим названием (.txt, .csv), поскольку для работы с форматом Excel обычно требуется либо рабочая копия Excel (библиотеки взаимодействия) или платный сторонний инструмент.