Вы настроили виртуальную машину для фактического объявления этого режима в ОС?
edit: VirtualBox автоматически устанавливает новые разрешения, если вы изменяете размер окна. Я полагаю, что вы можете установить подсказки для режима видео с хост-ОС (см. В документации), но вам нужно установить гостевые дополнения. Вы также можете добавить режимы VESA при использовании резервного драйвера VESA. В любом случае, похоже, что все это должно происходить с хост-ОС, чтобы гостевая ОС могла использовать ее. И не похоже, что есть простой (не cmdline, возможно, не постоянный) способ его настройки, хотя YMMV.
Я не проверял это, но команда должна быть:
VBoxManage controlvm
Вы также можете установить максимальный размер экрана гостевой ОС, это можно узнать, посмотрев немного глубже:
VBoxManage setextradata global GUI / MaxGuestResolution xres, yres
НТН