Это зависит от вашего приложения. Если ваше приложение меньше похоже на веб-страницу и больше похоже на приложение (например, Google Docs), модальные диалоговые окна имеют смысл, если вы хотите сосредоточить внимание пользователя на конкретных задачах.
Если ваше приложение представляет собой веб-сайт, я бы сказал, что вам не следует путать пользователя с модальными диалоговыми окнами. Люди привыкли переходить на отдельные страницы и даже через серию страниц выполнять сложные задачи. Если это сложные данные, я бы разбил их на логические этапы, которые уменьшают сложность задачи. Вы можете использовать Ajax, чтобы сделать его еще круче, фактически не загружая полную страницу.
Модальные диалоги следует использовать редко. Я думаю, что хорошим примером того, как не использовать модальные диалоги, является Facebook. У Facebook есть модный ajax для вещей, которые могут выскользнуть, скользить назад. Их интерфейс очень сложный, но большая часть сложности скрыта.