Да, любое приложение .NET console / Winforms / Windows Service при запуске будет считывать соответствующий файл конфигурации и кэшировать его содержимое.Изменение его во время работы приложения, как правило, не меняет работающее приложение.
Если вам нужна такая функция, вам придется реализовать ее самостоятельно - например, заставить приложение периодически проверять конфигурацию,или ответьте на событие наблюдателя файловой системы, что файл был изменен.