Вы должны использовать .a (если вы используете MinGW), который поставляется с вашей DLL, и добавить строку, подобную этой, в ваш .pro файл:
LIBS += "PathToLib/libcryptopp.a"
Пожалуйста, обратитесь к документации Qt, она довольно полная: http://doc.trolltech.com/4.6/qmake-variable-reference.html#libs
Вы также можете динамически загружать DLL, используя QLibrary