Разъем свечи-снежинки доступен только для блоков данных свечей? - PullRequest
0 голосов
/ 13 октября 2018

Использование блоков данных spark, способных записывать данные в снежинку с использованием коннектора spark-snowke (spark-snowke_2.11-2.3.0.jar, snowke-jdbc-2.8.1.jar), а неиспользуя соединение JDBC.Но без блоков данных, когда я пытаюсь применить тот же код на локальной машине, на которой установлен spark, я не могу записать данные в снежинку, используя коннектор искры-снежинки. ошибка i face - classNotFoundExceptoion для снежинки. По умолчаниюSource .Но в состоянии писать в снежинку, используя соединение JDBC с локальной машины, где локально установлен spark.

1 Ответ

0 голосов
/ 13 октября 2018

пакет spark-snowflake в комплект свечи не входит.Вы должны включить его при запуске spark с:

$SPARK_HOME/bin/spark-shell --packages net.snowflake:spark-snowflake_2.11:2.4.5

или добавить его к своим зависимостям следующим образом (в sbt):

libraryDependencies += "net.snowflake" %% "spark-snowflake" % "2.4.5"

подробности см. здесь: https://spark -packages.org / пакет / snowflakedb / искровым снежинка

...