InstallShield включает в себя множество технологий.Какой тип проекта вы используете?
Для Basic MSI вы можете посмотреть диалоговое окно CustomSetup и посмотреть, как оно использует свойство BrowseDialog, чтобы связать INSTALLDIR с диалоговым окном браузера модальных файлов.