недавно я встречал тот же случай - и также пытался придерживаться фляги весеннего запуска, которая, к сожалению, потерпела неудачу, но я был близок к концу.когда я сдался, было следующее: весенний загрузочный jar, собранный без включенных библиотек spark / hadoop, и я запускал его в кластере с -Dloader.path = 'список библиотек spark / hadoop, извлеченный из SPARK_HOME и HADOOP_HOME в кластере'.В итоге я выбрал вариант 2d - создать толстый jar с затененным плагином и запустить его как обычный jar с помощью spark submit, что кажется странным решением, но все еще работает нормально