Да, это возможно. Имеет ли это смысл или нет, это другой вопрос - X - это не только протокол рисования, но и модель взаимодействия. Вам будет трудно делать правые щелчки, управляющие символы или большинство других операций, которые захотят выполнять программы X.
Честно говоря, вам, вероятно, лучше размещать сеанс VNC в удаленном X-сеансе, проводимом с помощью обычного Linux-бокса, чем идти по этому пути, если все, что вы хотите получить, - это биты на экране.