Звоните
filechooser.setPreferredSize (new java.awt.Dimension (800, 800));
перед вызовом showOpenDialog с любым размером, который вам нравится.
Но я бы предложил либо развернуть диалоговое окно, потому что в тот момент, когда мне нравится открывать файл, я не люблю смотреть что-то еще - найти файл и закрыть диалог без особой прокрутки, потому что кто-то подумал это выглядит более красиво.
Если вы хотите предотвратить потерю свободного места, вы можете предварительно рассчитать необходимый размер окна, что может быть большой работой, но может окупиться, если вы часто используете Компонент.