Вместо использования FL_BORDER_BOX используйте FL_BORDER_FRAME.Цвет переднего плана рамки можно изменить.
Fl_Box changeling = new Fl_Box(10, 10, 100, 20);
changeling.box(FL_BORDER_FRAME);
changeling.color(FL_RED);
Список типов ящиков можно найти в http://www.fltk.org/doc-1.1/common.html в разделе Типы ящиков
РЕДАКТИРОВАТЬ Если вы хотите, чтобы внутри был другой цвет, нарисуйте два прямоугольника
int x = 10, y = 10, w = 180, h = 100;
Fl_Box box(x, y, w, h);
box.box(FL_BORDER_FRAME);
box.color(FL_BLUE, FL_RED);
Fl_Box inner(x + 1, y + 1, w - 2, h - 2);
inner.box(FL_FLAT_BOX);
inner.color(FL_YELLOW);