SO_RCVBUF в winsock не ограничен размером окна TCP. По крайней мере, для стеков до Vista. Это будет ограничено доступностью невыгружаемого пула, что является совершенно другой темой.
Таким образом, вы можете сделать его довольно большим, если хотите.
Обязательный незапрошенный совет: если вы используете большой буфер из-за нечастого приема, я бы посмотрел на асинхронный ввод-вывод с портами событий / выбора / завершения.