Spark передает метание java .lang.NoSuchMethodError в Azure кирпичи данных - PullRequest
Новая
       32

Spark передает метание java .lang.NoSuchMethodError в Azure кирпичи данных

0 голосов
/ 14 февраля 2020

Я пытаюсь запустить jar своего приложения как spark-submit в кластере Azure Databricks (ADB).

Тот же самый jar работает в кластере HDInsight, но не в ADB. Я получаю эту ошибку 

Exception in thread "main" java.lang.NoSuchMethodError: com.zaxxer.hikari.HikariConfig.setInitializationFailFast(Z)V
at slick.jdbc.hikaricp.HikariCPJdbcDataSource$.forConfig(HikariCPJdbcDataSource.scala:44)
at slick.jdbc.hikaricp.HikariCPJdbcDataSource$.forConfig(HikariCPJdbcDataSource.scala:21)
at slick.jdbc.JdbcDataSource$.forConfig(JdbcDataSource.scala:47)
at slick.jdbc.JdbcBackend$DatabaseFactoryDef$class.forConfig(JdbcBackend.scala:302)
at slick.jdbc.JdbcBackend$$anon$3.forConfig(JdbcBackend.scala:32)
at slick.jdbc.JdbcBackend$class.createDatabase(JdbcBackend.scala:35)

По этой ссылке проблема заключается в несовместимых версиях jar. Я использую версию 3.2.3 для HikariCP и Slick. Код упакован в толстую банку с использованием сборки gradle. Scala и Java версии одинаковы для сервера сборки и ADB.

В рабочей области ADB также работает простое соединение в формате db (JDB C). Я теперь меньше знаю. Кто-нибудь может дать еще несколько идей? Благодарим за помощь.

...