Это часть PL & F.
Чтобы буквально удалить его, вы можете сделать JDesktopPane
непрозрачным:
dp.setOpaque(false);
или установить цвет фона, который вам нравится:
dp.setBackground(new java.awt.Color(200,200,200));
Но со светлым цветом это выглядит странно.
Возможно, что-то сконфигурировано в macOS PL & F. Все просто живут с macOS, выглядящие так, как хочет выглядеть macOS.