Ну, самая распространенная схема - иметь общесистемную конфигурацию в /etc/app_name, и пользователь может создать ~/.app_name, который переопределяет настройки в /etc/app_name. Можно даже пойти на шаг дальше и сделать это с трехуровневой концепцией: например, если ваше приложение находится в /opt/app_name, тогда имеет конфигурацию по умолчанию /opt/app_name/conf, и /etc/app_name и ~/.app_name могут переопределить его.
IIRC, KDE использует эту трехуровневую концепцию и даже имеет возможность пометить разделы или ключи как не подлежащие переопределению, чтобы системный администратор мог запретить пользователю переопределять e. г. положение панели задач. Возможно, это излишне реализовано, но, возможно, это пища для размышлений.
Не имеет значения, хранится ли конфигурация в каталоге, содержащем несколько файлов, или только один файл.