Скорее всего, у вас есть объектный файл в формате, который компоновщик не понимает. Существует множество различных форматов: COFF, OMF, ELF (список можно продолжить ...)
К счастью, есть бесплатный инструмент, который позволяет вам конвертировать из одного формата в другой. Это также позволяет вам взглянуть на внутреннюю часть формата объекта и сообщает, в каком формате закодирован объектный файл.
http://www.agner.org/optimize/#objconv
Эта маленькая утилита командной строки решила все проблемы с форматированием объектов, которые у меня когда-либо были. Он может даже разбирать библиотеки, объектные файлы, библиотеки DLL и исполняемые файлы.