Получение java .lang.NoSuchMethodError при отправке искрового задания - PullRequest
Новая
       55

Получение java .lang.NoSuchMethodError при отправке искрового задания

0 голосов
/ 26 февраля 2020

При отправке искрового задания возникла ошибка:

enter image description here

Что может быть причиной этого? Я отправляю работу через: 

/current/spark2-client/bin/spark-submit \
--class com.pkg.ml.models.ML \
--master yarn-cluster \
--driver-memory 8G \
--executor-memory 2G \
--num-executors 100 \
--files ml.properties \
--jars /current/phoenix-client/phoenix-client.jar,/current/phoenix-client/lib/phoenix-spark-4.7.0.2.6.1.0-129.jar,/2.4.2.0-258/spark/lib/datanucleus-api-jdo-3.2.6.jar,/2.4.2.0-258/spark/lib/datanucleus-api-jdo-3.2.6.jar,/2.4.2.0-258/spark/lib/datanucleus-core-3.2.10.jar \
spark-ml-0.0.2.jar ml.properties $1 $2
rc=$?

if (( $rc )); then

    echo "Job failed" 1>&2

    exit $rc

fi

Спасибо

1 Ответ

0 голосов
/ 26 февраля 2020

Вполне возможно, его нужно обновить в ВМ. Он включен в виртуальную машину исключительно для удобства - поскольку он не является официально поддерживаемой или включенной частью CDH, он не проходит go через все то же тестирование, что и все остальное.

...