Я отвечаю на свой вопрос здесь.
Мне потребовалось некоторое время, чтобы выяснить, что GWTs CaptionPanel использует набор полей под капотом. Следующее помещает красную сплошную границу в 1 пиксель вокруг GWT CaptionPaneles:
fieldset {
border: 1px;
border-style: solid;
border-color: #ff0000;
}