Удалить параметры ширины и высоты.У меня была та же проблема, и устранение тех, кто ее решил.
Вот функция, которую я использую для открытия модальных диалогов:
function OpenModalDialog(urlToOpen)
{
var options = {
url: urlToOpen ,
allowMaximize: false,
showClose: true,
dialogReturnValueCallback: CloseCallback
};
SP.UI.ModalDialog.showModalDialog(options);
}