В разделе Инструменты / Параметры / Международные настройки. У меня есть возможность изменить язык с «То же, что в Microsoft Windows» на «Английский» (Visual Studio 2008 на случай, если что-то изменится). Если у вас нет английского, я не уверен, как вы добавите больше языков ...
Отредактировано, чтобы добавить:
Поскольку вы говорите об исключениях для приложений, вам необходимо изменить язык приложения, которое вы перезаписываете, вы можете сделать это, выполнив this или если нет возможности изменить культуру для целое приложение в этом вопросе есть некоторые идеи по изменению культуры только при возникновении исключений.