Прокси-модель работает с данными, содержащимися в базовой модели, поэтому вы не можете использовать ее для получения совершенно нового содержимого модели.
Очевидный способ решения таких задач - выяснить, какая модель есть в QFileDialog, и затем заменить модель.
Вы, возможно, можете скопировать модель из QFileDialog, конечно, относительно вашего нового файлового движка, а затем использовать модель propxy несколько странным образом: установить ее (она подключится к базовой модели QFileDialog, не используйте другой способ), а затем используйте setSourceModel () вашего прокси-сервера для установки модели.
Или вы можете просто получить код QFileDialog и заменить код в файловой системе своим. Но, кажется, пахнет плохо, и я не знаю, законно ли это и с какими проблемами вы можете столкнуться из-за лицензий и тому подобного.