Как запросить данные из кластера Azure Databricks Spark без записных книжек?

Question

У меня есть работающий кластер Spark 2.3.1, размещенный на https: azuredatabricks.net, я создал базу данных с постоянной таблицей и смог выполнять запросы через веб-интерфейс Notebook.
Теперь я ищуспособ запросить тот же кластер из консольного приложения .Net, и я потерялся.

1.Существует ли Rest API, который можно использовать для выполнения запросов SQL / Python?
2. Как настроить строку подключения ODBC для подключения к кластеру и какие рабочие драйверы ODBC существуют?

В конце концов я ищу способ, позволяющий пользователям запускать один из нескольких предварительно заданных параметризованных запросов к кластеру Spark через службу веб-приложений / REST, написанную с использованием кода JavaScript или .Net.

Answer 1

Насколько мне известно, в настоящее время нет способа запрашивать таблицы Databricks за пределами рабочей области Databricks.

В зависимости от того, что вы пытаетесь выполнить, вы можете использовать REST API для выполнения задания (Notebook или JAR), которое выполняет ваши параметризованные запросы.Это описано в документации API REST Databricks (https://docs.azuredatabricks.net/api/latest/jobs.html#run-now).). Если вам нужны результаты запросов в вашем приложении .NET, ваши возможности будут ограничены, и вам лучше всего написать результатызапросить файл в хранилище озера данных или хранилище BLOB-объектов, а затем прочитать его с помощью консольного приложения. Вы можете передать имя файла в качестве параметра из консольного приложения, чтобы вы могли легко получить его после завершения выполнения.

Чтобы подключиться к кластеру из .NET, вам потребуется использовать токен доступа к Databricks и API REST аутентификации (https://docs.azuredatabricks.net/api/latest/authentication.html).