Моя среда CDH5.11 с режимом HDFS HA, я отправляю приложение, использующее SparkLauncher на моем компьютере с Windows, когда я кодирую как
setAppResource("hdfs://ip:port/insertInToSolr.jar")
, это работает, но когда я пишу как
setAppResource("hdfs://hdfsHA_nameservices/insertInToSolr.jar")
это не работает. Я скопировал мою конфигурацию hadoop в образ искрового докера, изменив
$SPARK_HOME/kubernetes/dockerfiles/spark/entrypoint.sh Когда я использую docker run -it IMAGE ID /bin/bash для запуска КОНТЕЙНЕРА, в КОНТЕЙНЕРЕ я могу использовать spark-shell для чтения hdfs и куста.