Большинство дистрибутивов теперь поставляют версию Xvfb с поддержкой randr.
Код, принятый в конце 2015 года vfb: добавить поддержку randr (v2) .
Для изменения размера вам сначала необходимо определить новый режим (вы можете использовать такие инструменты, как gtf, чтобы получить значения определения моделин), добавить его в виртуальный вывод, а затем вы можете переключиться на него.
т.е. для 1280x1024:
xrandr --newmode "1280x1024" 109.00 1280 1368 1496 1712 1024 1027 1034 1063 -hsync +vsync
xrandr --addmode screen 1280x1024
xrandr -s 1280x1024