Почему бы не использовать тот факт, что каждый сервер X11 помещает файл "Lock" в / tmp?
Это называется /tmp/.Xn-lock, где "n" - это идентификатор дисплея. (Также обратите внимание на ведущий в имени файла).
Это механизм, который сам Xserver использует для проверки на дублирование, и он, похоже, работает на всех * nix-платформах, которые я пробовал (HP-UX, Linux, ...)
Чтобы вы могли адаптировать свой скрипт таким образом (извините за синтаксические ошибки, я не привык к C-оболочке, чем сценарии Bourne / Korn)
DISPLAY_NUM=0
do
if ( -e /tmp/.X$DISPLAY_NUM-lock ) then
let DISPLAY_NUM=$DISPLAY_NUM+1
else
Xvfb :$DISPLAY_NUM -screen 0 1280x1024x24 -ac (or whatever args take your fancy)
fi
done