Чтобы установить размер диалога, это
wizardDialog.getShell().setSize(WIDTH, HEIGHT)
Чтобы отключить изменение размера диалога, оставьте бит SWT.RESIZE в собственной реализации WizardDialog:
// original WizardDialog class
public WizardDialog(Shell parentShell, IWizard newWizard) {
super(parentShell);
setShellStyle(SWT.CLOSE | SWT.TITLE | SWT.BORDER | SWT.APPLICATION_MODAL | SWT.RESIZE);
setWizard(newWizard);
...
}
// Own implementation without SWT.RESIZE
public NoResizeWizardDialog(Shell parentShell, IWizard newWizard) {
super(parentShell);
setShellStyle(SWT.CLOSE | SWT.TITLE | SWT.BORDER | SWT.APPLICATION_MODAL);
setWizard(newWizard);
...
}