Как и предполагал jah, вы определенно хотите использовать Comet / Server Push / Reverse AJAX / многие другие имена. Я собрал ваши параметры для GWT в другой пост .
Если вы хотите быстрый старт, посмотрите на NGiNX_HTTP_Push_Module - у них есть простой для понимания пример чата. Вам придется написать некоторую обработку протокола самостоятельно, но это довольно простая задача.
Если вы также используете Java на бэкэнде, более простым решением будет rocket-gwt или cometd .