Я столкнулся с той же проблемой.
QApplication::setGraphicsSystem(QLatin1String("opengl"));
не работает для меня.Поэтому я установил OGWidget как область просмотра:
QDeclarativeView mainwindow;
mainwindow.setSource(QUrl::fromLocalFile("./qml/app.qml"));
QGLFormat format = QGLFormat(QGL::DirectRendering); // you can play with other rendering formats like DoubleBuffer or SimpleBuffer
format.setSampleBuffers(false);
QGLWidget *glWidget = new QGLWidget(format);
glWidget->setAutoFillBackground(false);
mainwindow.setViewport(glWidget);
и не забудьте добавить opengl в * .pro файл.