Передача jdbc-соединения в спарк-чтение - PullRequest
0 голосов
/ 12 февраля 2019

У меня есть скрипт sql, который создает временные таблицы, действительные только для этого сеанса.Теперь, после запуска скрипта, я пытаюсь прочитать данные из таблицы через spark и затем обработать их.Ниже приведен код, который у меня есть для чтения с помощью spark.

sparkSession.read().format("jdbc").option("url", 
jdbcURL).option("dbtable", tableOrQuery).option("user", 
userName).option("password", password)
      .option("driver", driverName).load();

Теперь мне нужно передать созданное мной соединение jdbc, чтобы spark мог читать данные в одном сеансе.Возможно ли это?

1 Ответ

0 голосов
/ 12 февраля 2019

Нет, вы не можете передать соединение jdbc в spark.Он будет управлять соединением JDBC самостоятельно.

JdbcRelationProvider Создать соединение

JdbcUtils connect

...