в LIBS, я не думаю, что вы можете использовать символы джокера (*,?). Вам нужно использовать фактическое имя библиотеки. Обратите внимание, что вы можете указать путь поиска для библиотек, затем имя библиотеки в «коротком формате». Если вы стремитесь к кросс-компиляции, это может быть полезно.
Вот пример для ссылки Open Ssl (может быть полезно для вас)
LIBS += -L$${OPEN_SSL}/lib
LIBS += -llibeay32
LIBS += -lssleay32
Что касается вашего кода ошибки, какой компилятор вы используете (mingwin или visual?). В любом случае вы можете проверить сгенерированную команду, чтобы попытаться понять, почему она идет не так (команда компоновщика). Надеюсь, это поможет.