OOZ IE Spark Action: Получение иногда ошибки такого метода - PullRequest
Новая
       42

OOZ IE Spark Action: Получение иногда ошибки такого метода

0 голосов
/ 15 апреля 2020

Я получаю это исключение при выполнении искры через таз. Некоторое время работа проходит нормально, а иногда я получаю это исключение. Действительно странно, не уверен, почему это происходит.

У меня есть проверка версий спарк фляги как в ooz ie lib, так и в фляге моего приложения, и она одинаковая (без конфликта) 

ERROR ApplicationMaster: User class threw exception: java.lang.NoSuchMethodError: 
org.apache.spark.sql.internal.SQLConf$.setSQLConfGetter(Lscala/Function0;)V
java.lang.NoSuchMethodError: 
org.apache.spark.sql.internal.SQLConf$.setSQLConfGetter(Lscala/Function0;)V
at org.apache.spark.sql.SparkSession.<init>(SparkSession.scala:91)
at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:950)

Любая предложения, что может быть причиной такого поведения.

1 Ответ

0 голосов
/ 29 апреля 2020

Это явно указывает на конфликт банок. Я столкнулся с той же проблемой.

Но, как вы сказали, вы убедились, что конфликта нет. Таким образом, есть одна возможность, которую я мог видеть: Конфликты зависимостей

Если это не так, я предлагаю попробовать создать jar один раз со всеми включенными зависимостями. Когда вы используете jar со всеми включенными зависимостями, JVM обнаружит зависимости непосредственно из jar, поэтому не будет никакого несоответствия из-за другой версии библиотеки. В maven вы можете создать jar со всеми зависимостями, используя плагин assembly .

...