Я не уверен на 100% в этом. Но я выброшу некоторые возможности. Прежде всего, app.config не является правильным именем файла. Пока это app.config в вашем проекте, он автоматически переименовывается в binary .exe.config или binary .dll.config (в зависимости от типа проекта), где binary - это название проекта.
Во-вторых, я не на 100% уверен, что файлы dll.config всегда правильно загружаются и читаются .NET при загрузке приложения. Я не верю, что это происходит автоматически, и что есть дополнительный вызов, который вы должны сделать, чтобы прочитать файл конфигурации, если это для DLL. Если вы переименуете файл конфигурации в соответствии с вашим файлом exe, то он обязательно загрузится и будет вам доступен.