SBT, Spark и MS SQL Server - PullRequest
Новая
       21

SBT, Spark и MS SQL Server

0 голосов
/ 07 марта 2019

Я пытаюсь создать фрейм данных Spark с данными, извлеченными из SQL Server. 

  val jdbcDF = spark.read
  .format("jdbc")
  .option("url", "sqlserver://...")
  .option("dbtable", "table")
  .option("user", "user")
  .option("password", "passwors")
  .load()

Я поместил JAR-драйвер в папку / lib 

build.sbt
lib/
  mssql-jdbc-7.2.1.jre8.jar
project/
src/

Тем не менее, я все еще получаю следующую ошибку: 

Exception in thread "main" java.sql.SQLException: No suitable driver

Любая помощь будет высоко ценится.

Ответы [ 2 ]

1 голос
/ 20 марта 2019

Вам нужно передать путь к драйверу вместе с командой spark-submit, что-то вроде этого решило проблему для меня:

spark-submit - путь к классу драйвера C: \ postgresql \postgresql \ 42.2.5 \ postgresql-42.2.5.jar --class SparkMaven.Postgres.App - локальный мастер [*] C: \ eclipse-workspace \ Postgres \ target \ Postgres-0.0.1-SNAPSHOT.баночка

0 голосов
/ 10 апреля 2019

Чтобы закрыть тему, мы можем справиться с этим двумя способами:

  1. Передача драйвера как часть запроса на отправку (см. Ответ Вивека)
  2. добавление com.microsoft.sqlserver" % "mssql-jdbc" % "7.2.1.jre8 к зависимостям и .option("driver", "com.microsoft.sqlserver.jdbc.SQLServerDriver") к коду
...