Я пытаюсь интегрировать мою Scala Eclipse IDE с моим Azure кластером Databricks, чтобы я мог напрямую запускать свою программу Spark через Eclipse IDE на своем кластере Databricks.
Я следовал официальной документации Соединение блоков данных (https://docs.databricks.com/dev-tools/databricks-connect.html). У меня есть: Установлена Анаконда. Установлена Python Lib 3.7 и библиотека Databricks Connect 6.0.1. Сделал ли Конфигурация подключения Databricks часть (CLI часть). Также добавлены клиентские библиотеки в Eclipse IDE. Установите SPARK_HOME env. переменная к пути, который я получаю от запуска команды в Anaconda, т.е. 'databricks-connect get-jar-dir'
Я не установил никаких других переменных окружения, кроме упомянутой выше.
Нужна помощь в поиске, что еще нужно сделать, чтобы выполнить sh эту интеграцию, например, как ENV. Переменная, связанная с подключением работает, если работает через IDE.
Если кто-то уже сделал это успешно, помогите мне, пожалуйста.