Первое отличие, которое делает серверный режим, это включение Parallel GC, это сборщик мусора, рекомендуемый для многоядерных машин.В общем, это даст вам более короткие задержки для сборки мусора.
Во-вторых, режим сервера будет использовать более агрессивные оптимизации в JIT.
Я думаю, что режим сервера является обязательным на рабочей машине.
Я бы порекомендовал вам перейти на 1.6 JVM, так как он имеет лучшую реализацию gc и лучше оптимизирован.