Я не пробовал этого, но nyroModal прослушивает события изменения размера окна, чтобы изменить размер модального окна, поэтому, возможно, запуск одного из них может помочь здесь.Например,
$(window).resize();
Однако, если "модальное окно" - это iframe, тогда nyroModal не будет знать, к какому размеру нужно изменить размер модала.