string width = "208px”;
string height = "190px”;
Context.ClientPage.ClientResponse.ShowModalDialog("/sitecore/shell/~/xaml/your.custom.xaml.aspx", width, height, String.Empty, true);
Модальный размер диалога сохраняется в профиле пользователя, поэтому при тестировании войдите в систему с разными пользователями.
Надеюсь, это поможет