Я создал небольшое приложение, которое через определенные промежутки времени отправляет искровое задание и создает несколько аналитических отчетов.Эти задания могут считывать данные из локальной файловой системы или распределенной файловой системы (fs может быть HDFS, ADLS или WASB).Могу ли я запустить это приложение в кластере баз данных Azure?
Приложение отлично работает в кластере HDInsights, так как я смог получить доступ к узлам.Я сохранил развертываемый jar-файл в одном месте, запустил его, используя скрипт запуска, аналогично, я также мог остановить его, используя подготовленный мной скрипт остановки.
Одна вещь, которую я обнаружил, состоит в том, что у Azure Databricks есть собственная файловая система.: ADFS, я также могу добавить поддержку для этой файловой системы, но тогда я смогу развернуть и запустить свое приложение, как я смог сделать это в кластере HDInsight?Если нет, есть ли способ отправить задания из пограничного узла, моего кластера HDInsight или любого другого кластера OnPrem в кластер баз данных Azure.