Чтобы изменить размер окна вручную, вы используете то, что вы пробовали - 'resizable'
var myWin = window.openDialog('chrome://myapp/content/mywindow.xul','mywindow','centerscreen,chrome,resizable,dialog=no',{});
Чтобы изменить его размер программно, попробуйте функции ResizeTo или ResizeBy