CDAP с блоками данных Azure - PullRequest
       7

CDAP с блоками данных Azure

0 голосов
/ 09 января 2019

Кто-нибудь пробовал использовать блоки данных Azure в качестве искрового кластера для обработки заданий CDAP. В документации CDAP подробно описано, как добавить ее в Azure HDInsight, но просто интересно, есть ли способ настроить CDAP для указания на искровой кластер кирпичей данных, возможно ли это? ИЛИ для этого типа интеграции нужен специальный jar-файл коннектора клиента? Если у кого-то есть идеи, которые будут полезны.

1 Ответ

0 голосов
/ 03 февраля 2019

В Azure отсутствует встроенная поддержка искры Databricks. Но, тем не менее, вы можете разработать новый Cloud Runtime , способный передавать задания в искровой кластер Databricks. Вот пример того, как написать расширение времени выполнения для Cloud Dataproc и EMR .

...