Убедитесь, что exe и dll развернуты в одной папке.
Вот как.
Откройте проект в Visual Studio, там есть папка Assets, обычно она используется для хранения изображений логотипа.
Поместите exe и dll в эту папку, щелкнув правой кнопкой мыши по папке и выбрав «Добавить новый элемент» в меню, и установите их Build Action как Content, поэтому во время развертывания приложения они будут скопированы в каталог установки в C:\Program Files\WindowsApps\YouPackageFamilyName\, в той же папке Assets.
В файле appxmanifest убедитесь, что путь к исполняемому файлу указан правильно.
<desktop:Extension Category="windows.fullTrustProcess" Executable="Assets\YourWinForms.exe">
</desktop:Extension>
Редактировать: Это не обязательно должна быть папка Assets, ключом является добавление dll в проект с Build Action, установленным как Content и помещением в ту же папку, что и exe.