Я не знаю встроенного способа установить его из App.config, но вы можете просто определить ключ в вашем App.config следующим образом:
<configuration>
<appSettings>
<add key="DefaultCulture" value="pt-BR" />
</appSettings>
</configuration>
и в вашем приложении прочитать этоустановите значение и установите культуру
CultureInfo culture = new CultureInfo(ConfigurationManager.AppSettings["DefaultCulture"]);
Thread.CurrentThread.CurrentCulture = culture;
Thread.CurrentThread.CurrentUICulture = culture;
Кроме того, как упомянул @Ilya, начиная с .NET 4.5 вы можете установить культуру по умолчанию один раз, а не для потока:
CultureInfo.DefaultThreadCurrentCulture = culture
CultureInfo.DefaultThreadCurrentUICulture = culture