Я думаю, вам нужно расширить ваш вариант использования.
Если вы хотите, чтобы он был модальным, хотите ли вы завершить работу всей операционной системы, пока пользователь не обработает это окно? Я сомневаюсь, что это возможно. Поддерживают ли ОС это каким-либо образом? (Кроме как при сбое).
Если вы хотите запретить использование вашего приложения, когда это окно открыто, не используйте NativeWindow, используйте компонент с PopUpManager. У него есть модальное свойство при создании всплывающего окна.