Это не очень хорошо объяснено, но, насколько я могу судить, режим сервера является синхронным для каждого ядра, а режим рабочей станции - асинхронным.
Другими словами, режим рабочей станции предназначен для небольшого числа долго работающих приложений, которым требуется постоянная производительность. Сборщик мусора пытается «остаться в стороне», но в результате менее эффективен в среднем.
Режим сервера предназначен для приложений, в которых каждое «задание» относительно недолговечно и обрабатывается одним ядром (редактирование: например, многопоточный веб-сервер). Идея состоит в том, что каждая «работа» получает всю мощность процессора и выполняется быстро, но иногда ядро перестает обрабатывать запросы и очищает память. Таким образом, в этом случае надежда состоит в том, что GC в среднем более эффективен, но ядро недоступно во время работы, поэтому приложение должно быть в состоянии адаптироваться к этому.
В вашем случае это звучит так, потому что у вас есть одно приложение, потоки которого относительно связаны, вы лучше вписываетесь в модель, ожидаемую первым режимом, а не вторым.
Но это всего лишь оправдание. Измеряйте производительность вашей системы (как сказал ammoQ, не производительность GC, а то, насколько хорошо ваше приложение ведет себя) и используйте то, что вы измеряете, чтобы быть лучшим.