Я не уверен, что это стандарт для всех JVM, но, используя Oracle JVM в Windows, вы можете использовать системные свойства user.language и user.country для установки локали при запуске JVM:
java -Duser.language=en -Duser.country=GB ...
Конечно, вы также можете установить локаль по умолчанию в Java, используя
Locale.setDefault(new Locale("en", "GB"));
Обратите внимание, что Double.toString
не зависит от локали.