Да, вы можете настроить NUnit для этого. Если вы укажете domainUsage = "Multiple" в настройках вашего проекта, он загрузит .dll.config для каждой сборки в вашем проекте NUnit.
Вот пример файла проекта с указанным параметром:
<NUnitProject>
<Settings activeConfig="Debug" domainUsage="Multiple" />
<Config name="Debug" binpathtype="Auto" >
<assembly path="Assembly1.dll" />
<assembly path="Assembly2.dll" />
</Config>
<Config name="Release" binpathtype="Auto" />
</NUnitProject>
В этом случае NUnit автоматически загрузит Assembly1.dll.config и Assembly2.dll.config.