Я пытаюсь запустить искровую работу с Kubernetes. Наши искровые задания используют клиенты MapR, поэтому образ Docker, развернутый в подах, содержит файлы jar Spark и MapR. Я начинаю работу с помощью spark-submit в клиентском режиме. Модуль драйверов успешно запущен в том же модуле, в котором было запущено задание искровой отправки. Затем он пытается запустить модули-исполнители. Они запускаются, но сразу же терпят неудачу. Ошибка связана с исключением NoClassDefFoundError для следующего класса:
org / apache / hadoop / mapreduce / InputFormat
Я поискал банки на изображении Docker и обнаружил, что это класс определено в следующей банке:
/ opt / mapr / hadoop / has oop -2.7.0 / share / hadoop / mapreduce / has oop -mapreduce-client-core-2.7.0-mapr -1808.jar
Spark.executor.extraClassPath содержит каталог /opt/mapr/hadoop/hadoop-2.7.0/share/hadoop/mapreduce, поэтому может показаться, что это свойство не используется передал исполнителю. Кто-нибудь видел это раньше и решил эту проблему?
Заранее спасибо.