Не настроены ли ни spark.yarn.jars, ни spark.yarn.archive, если не нужно загружать библиотеки под SPARK_HOME? - PullRequest
0 голосов
/ 21 марта 2019

Мы запускаем большое приложение Spark на Amazon Elastic Map Reduce.Я упорно трудился, чтобы удалить все WARN сообщения в лог-файл.Это один из двух оставшихся:

19/03/21 14:08:09 WARN Client: Neither spark.yarn.jars nor spark.yarn.archive is set, falling back to uploading libraries under SPARK_HOME.

Имеет ли это значение?Если да, то как от этого избавиться?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...