Ааа, вы знаете, что проблема здесь больше из-за IIS (я предполагаю, что это веб-приложение, так как вы пробуете его и в приложении Win).
IIS (начиная с Win2003) «тупо» резервирует только четверть обычного стекового пространства, предоставленного другим программам. Это всего 256 КБ, по сравнению с 1 МБ.
Чтобы обойти эту проблему, вы можете запустить эту операцию в потоке. В конструкторе потока вы можете указать новый резервный размер стека. Попробуйте увеличить число, пока оно не заработает, не перебирая верх.