«Существует ли API для получения всех открытых файловых диалогов в Windows?» Нет, потому что в диалоговом окне файла нет только одного, и многие приложения используют пользовательские реализации (например: Java, qt, Office 2016+).
Выложенное видео выглядит так, как будто оно перехватывает или подклассирует наиболее распространенное диалоговое окно и (вероятно) использует автоматизацию (либо сообщения COM, либо сообщения окна) для установки папки.
Отдельно я не совсем понимаю желаемую функцию. Если у вас открыто окно проводника, перетащите или скопируйте / вставьте нужный файл в диалоговое окно приложения или файла. Нет необходимости в нестандартных взломах.