Запуск OpenGL в 64-битной гостевой системе Ubuntu 16.04 на 64-битном хосте Window 10 Pro, GTX 980m, VMware Workstation Pro 12.5.7, процессор Intel I7-6820
Существует несколько шагов, как это сделать
В настройке VMware для конкретной виртуальной машины включите 3D-ускорение 
В гостевой Ubuntu установите vm-open-tools (три пакета)
Установить xserver-xorg-video-vmware, xserver-xorg-video-vmmouse
Установить mesa-utils
Тогда все будет работать без проблем
Как проверить:
glxinfo |grep Vendor сообщит вам, что вендором является VMware
Запустите glxgears.С ускоренным OpenGL вы получите около 2000 FPS.С программным обеспечением OpenGL вы получите около 200 FPS (в зависимости от процессора)