Я просмотрел пару документов и установил искру на пряжу. Однако когда я запускаю следующую команду, я получаю следующее предупреждение. Как мне избавиться от предупреждения с помощью простого свойства конфигурации
Клиент WARN: не заданы ни spark.yarn.jars, ни spark.yarn.archive, возвращаясь к загрузке библиотек в SPARK_HOME.
(base) [hands-on@localhost ~]$ spark-shell --master yarn
20/08/01 02:48:58 WARN Utils: Service 'SparkUI' could not bind on port 4040. Attempting port 4041.
20/08/01 02:49:04 WARN Client: Neither spark.yarn.jars nor spark.yarn.archive is set, falling back to uploading libraries under SPARK_HOME.
Spark context Web UI available at http://localhost:4041
Spark context available as 'sc' (master = yarn, app id = application_1596261027669_0002).
Spark session available as 'spark'.
Обновление # 1 Я понял из этой статьи, чтобы установить следующую переменную. Однако кажется, что файлы уже должны быть доступны в HDFS, загрузив их в HDFS. какова стандартная практика?
spark.yarn.jars