CultureInfo.InvariantCulture
существует для конкретной цели сохранения данных в согласованном формате. Подробнее о MSDN
Для пользовательского интерфейса, если вы действительно хотите, чтобы все форматирование выполнялось в американском стиле, вы можете сделать это:
Application.CurrentCulture = new CultureInfo("en-US");
Обратите внимание, что вам нужно будет установить культуру в каждом потоке.