Как выполнить Intellij Spark Code на кластере Databricks - PullRequest
1 голос
/ 28 марта 2019

Я пытаюсь запустить свой код Spark, который я написал в Intellij, и запустить его на Databricks, поэтому я обнаружил, что это можно сделать с помощью "sbt-databricks" plugin.

Вот мой build.sbt файл:

name := "DatabricksTest"

version := "1.0"

scalaVersion := "2.11.8"

libraryDependencies ++= Seq("org.apache.spark" %% "spark-core" % "2.4.0" //% "provided"
  ,"org.apache.spark" %% "spark-sql" % "2.4.0" //% "provided",
 )

dbcUsername := "token"//

dbcPassword := "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"// 

dbcApiUrl := "https://westeurope.azuredatabricks.net/api/1.2"//

dbcClusters += "Cluster1"

А вот и мой plugins.sbt file:

addSbtPlugin("com.databricks" %% "sbt-databricks" % "0.1.5")

Когда я пытаюсь составить список кластеров, используя dbcListClusters У меня появляется следующая ошибка

[trace] Stack trace suppressed: run 'last *:dbcFetchClusters' for the full output.
[error] (*:dbcFetchClusters) org.apache.http.client.HttpResponseException: Bad Request
[error] Total time: 3 s, completed 28 mars 2019 16:18:54

Можете ли вы относиться к этой ошибке?

Спасибо

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...