Вот мой пример, который прекрасно работает с классической установкой OpenCV (apt-get или opencv wiki install) в Linux / Mac.
TEMPLATE = app TARGET = BIN / appName
QT + = core \ xml
INCLUDEPATH + = INC / папка / \ INC / otherFoled /
HEADERS + = INC / папка / .h \ INC / otherFoled / .h
SOURCES + = SRC-BIN / main.cpp
SOURCES + = SRC-LIB / folder / *. Cpp
MOC_DIR + = LIB / OBJECTS_DIR + =OBJ /
CONFIG + = link_pkgconfig
PKGCONFIG + = opencv
Удачи!