Насколько я понимаю, если при сборке у вас есть файл app.config, он будет преобразован компилятором в assmeblyName.dll.config. Если он присутствует в том же каталоге, что и сборка во время выполнения, он будет загружен всякий раз, когда вы пытаетесь прочитать app.config. Это объясняет это немного яснее.
Я считаю, что это разумный способ разделения данных конфигурации, чтобы данные, относящиеся к сборке, сохранялись в ассемблере.
РЕДАКТИРОВАТЬ Этот метод применяется к appSettings, но не уверен, что другие данные в app.config могут быть переданы таким же образом.