Я хотел бы отправить задание на запуск с настройкой дополнительного jar-файла на hdf, однако hadoop выдает предупреждение о пропуске удаленного jar-файла. Хотя я все еще могу получить свои окончательные результаты на hdfs, я не могу получить эффект дополнительного удаленного jar. Буду признателен, если вы дадите мне несколько советов.
Большое спасибо,
root@cluster-1-m:~# hadoop fs -ls hdfs://10.146.0.4:8020/tmp/jvm-profiler-1.0.0.jar
-rwxr-xr-x 2 hdfs hadoop 7097056 2019-01-23 14:44 hdfs://10.146.0.4:8020/tmp/jvm-profiler-1.0.0.jar
root@cluster-1-m:~#/usr/lib/spark/bin/spark-submit \
--deploy-mode cluster \
--master yarn \
--conf spark.jars=hdfs://10.146.0.4:8020/tmp/jvm-profiler-1.0.0.jar \
--conf spark.driver.extraJavaOptions=-javaagent:jvm-profiler-1.0.0.jar \
--conf spark.executor.extraJavaOptions=-javaagent:jvm-profiler-1.0.0.jar \
--class com.github.ehiggs.spark.terasort.TeraSort \
/root/spark-terasort-master/target/spark-terasort-1.1-SNAPSHOT-jar-with-dependencies.jar /tmp/data/terasort_in /tmp/data/terasort_out
Предупреждение. Пропустить удаленный jar hdfs: //10.146.0.4: 8020 / tmp / jvm-profiler-1.0.0.jar.
19/01/24 02:20:31 ИНФОРМАЦИЯ org.apache.hadoop.yarn.client.RMProxy: подключение к ResourceManager в кластере-1-m / 10.146.0.4: 8032
19/01/24 02:20:31 ИНФОРМАЦИЯ org.apache.hadoop.yarn.client.AHSProxy: подключение к серверу истории приложений на cluster-1-m / 10.146.0.4: 10200
19/01/24 02:20:34 ИНФОРМАЦИЯ org.apache.hadoop.yarn.client.api.impl.YarnClientImpl: Подано приложение application_1548293702222_0002