Если у вас установлен X-сервер локально, Putty может туннелировать графику X11, сгенерированную Linux Java, обратно с сервера на локальный компьютер и просматривать ее там.
Если вышеприведенное не имеет смысла для вас, ваша следующая лучшая ставка - либо запустить Java-код локально с помощью Java Web Start (и кодировать его для обратной связи с удаленным сервером), либо запустить сервлеты на веб-сервере Java, работающем на удаленном хосте.
Другими словами, GUI через соединение Putty - это не то, что легко сделать.