Мне немного неясно, что вы пытаетесь сделать, но если вам просто нужно открыть оболочку, проще всего будет установить PuTTY и использовать его для telnet или ssh в ВМ.
Если вы хотите запустить Java-приложение (gui) на виртуальной машине Linux, мне кажется, что проще всего было бы установить среду X11 в виртуальной машине и запустить приложение в консоли виртуальной машины. Таким образом, приложение и GUI находятся в системе Linux, и вам не нужно возиться с удаленными X-сессиями.
В любом случае, получение рабочей среды X11 в Windows, скорее всего, будет намного сложнее, чем в Linux. Во всяком случае, это совсем не тривиальная вещь.
Редактировать: В ответ на ваш отредактированный вопрос вам не нужно использовать средство просмотра VNC или что-либо подобное. Если вы используете VirtualBox или VMWare, вы можете открыть консольное окно, которое по сути функционирует как «монитор» на вашей виртуальной машине.
Другое редактирование: В ответ на ваши комментарии / правки. Я использовал средство просмотра TightVNC для Windows, чтобы получить доступ к Linux-блоку на работе из дома, и он работал нормально. Производительность может быть немного резкой в зависимости от доступной пропускной способности.