Проверьте результаты с этими значениями.
UIManager.put("TabbedPane.contentAreaColor", Color.GREEN);
UIManager.put("TabbedPane.light", ColorUIResource.GREEN);
UIManager.put("TabbedPane.highlight", ColorUIResource.GREEN);
UIManager.put("TabbedPane.shadow", ColorUIResource.GREEN);
UIManager.put("TabbedPane.darkShadow", ColorUIResource.GREEN);
UIManager.put("TabbedPane.selected", ColorUIResource.GREEN);
UIManager.put("TabbedPane.borderHightlightColor", ColorUIResource.GREEN);
Как видите, единственный способ, чтобы получить темную рамку на верху панели нужного цвета, это установить для borderHightlightColor желаемый цвет. К сожалению, это имеет побочные эффекты, которые можно увидеть (зеленая рамка вокруг всех вкладок). И все же, между зелеными линиями на заднем плане есть серая линия.
Я думаю, что единственное реальное решение - переопределить ваш MetalTabbedPaneUI. Если вы устанавливаете только contentAreaColor и делаете пустые переопределения для методов
paintContentBorderTopEdge(g, tabPlacement, selectedIndex, x, y, w, h);
paintContentBorderLeftEdge(g, tabPlacement, selectedIndex, x, y, w, h);
paintContentBorderBottomEdge(g, tabPlacement, selectedIndex, x, y, w, h);
paintContentBorderRightEdge(g, tabPlacement, selectedIndex, x, y, w, h);
результат должен быть близок к тому, который, я подозреваю, вы хотите получить.