Вам следует использовать поведение по умолчанию при загрузке из каталога EXE.
Если вы действительно этого не хотите, установите для ссылки Copy Local
значение false и загрузите DLL самостоятельно, вызвав * 1004.*.
Обратите внимание, что вам нужно загрузить DLL перед вызовом любых методов, использующих ее типы, чтобы библиотека DLL уже загружалась, когда JIT среды выполнения методов.