Ваш код, очевидно, просто размывает этот черный прямоугольник и ничего больше. Проблема в том, что вы хотите размыть все приложение, кроме модального окна.
Я могу придумать два решения:
раствор 1
Поместите все ваше приложение в отдельный класс и примените фильтр к нему:
<s:Application>
<s:States>
<s:State name="normal" />
<s:State name="modal" />
</s:States>
<view:Main>
<view:filters.modal>
<s:BlurFilter>
</view:filters.modal>
</view:Main>
<s:Group includeIn="modal">
<view:ModalWindow />
</s:Group>
</s:Application>
(это не рабочий пример кода: его цель - просто передать идею)
Решение 2
Сделайте снимок экрана вашего приложения (создайте BitMap), прежде чем появится всплывающее окно. Поместите это изображение поверх вашего приложения и примените к нему фильтр размытия. Затем поместите модальное окно. Вы не можете нажать на что-либо, потому что изображение наложено на все, но это поведение, которое вы хотите от модального окна.