Это не очень очевидно, в настройках:
// Настройка внешнего вида строки заголовка окна.Для применения изменений требуется полный перезапуск.
"window.titleBarStyle": "custom",
И тогда вам нужно будет выбрать темную тему, которая фактически обеспечивает этот цвет:
// Указывает цветТема, используемая в рабочей среде.
"workbench.colorTheme": "Default Dark+",