Список ошибок , который вам нужен, находится здесь . Символическое c имя для этой ошибки - ERROR_BAD_EXE_FORMAT
, а сообщение об ошибке - <filesoandso> is not a valid Win32 application.
DLL, которую вы пытаетесь открыть, либо повреждена, либо - скорее всего - - для другой архитектуры . Если вы компилируете для 32-битных, используйте 32-битные DLL. Если вы компилируете для 64 бит, используйте 64-битные DLL.
Скорее всего, в вашей системе есть как 32-, так и 64-битный компилятор. Если вы используете Qt Creator, его легко переключать - просто выберите другой комплект. На скриншоте ниже не показаны 64-битные наборы, но они должны быть, если вы их установили при установке Qt.

Почему ошибка называется «плохой EXE», а не «плохая DLL»? Потому что в Windows оба файла имеют идентичный формат PE (Portable Executable), и только наличие информации о запуске внутри файла превращает PE-файл в исполняемый файл, который можно запускать самостоятельно. EXE может делать все, что может DLL, включая экспорт символов:)
В качестве отступления: используйте одиночные косые черты. Qt внутренне использует косые черты для разделителей пути. Таким образом, он может легко оставаться кроссплатформенным. Он переводит их, когда ему нужно интерфейс с ОС.