Это проверяет, больше ли ширина И рамки, чем максимально установленная.
if(frame.getWidth() > frame.getMaximumSize().getWidth() &&
frame.getHeight() > frame.getMaximumSize().getHeight()) {
// Do something
}
Однако, все еще возможно, что ширина или высота больше, чем максимальное установленное значение. Чтобы проверить, превышает ли это максимальное значение, вы замените &&
(И) на ||
(ИЛИ).