Из того, что я понимаю, сборка, специально созданная для x86 и работающая в 64-разрядной операционной системе, может загружать только библиотеки, созданные для x86, иначе будет выдано исключение BadImageFormatException. В 64-разрядной ОС сборка, созданная для Any CPU или x64, выдает то же исключение при попытке загрузить библиотеку x86.
Итак, предполагая, что ничего невероятно странного не происходит, я бы позаботился о том, чтобы вы настроили приложение для сборки под x86, открыв свойства проекта и щелкнув по вкладке «Сборка». Убедитесь, что для параметра «Platform Target» установлено значение «x86», а не «Любой ЦП».
В качестве альтернативы, вы можете попробовать найти 64-битную версию DLL для тестирования.