Вот это решение:
User32.INSTANCE.SetWindowLong(new HWND(Native.getWindowPointer(frame)), -20, new Pointer(0x00000080L));
User32 является частью JNA platform.jar.Но, скорее всего, он работает только с 32-битной JVM.В 64-битной версии вы должны вызывать SetWindowLongPtr, но это не отображается в JNA (UnsatisfiedLinkError).