мы используем spark (spark2.4.2 https://spark.apache.org/docs/latest/index.html) на kubernetes, поэтому рабочие запускаются динамически при отправке задания. Все работает нормально, за исключением того, что ссылки на журналы (драйверы или исполнители) не отображаются в пользовательский интерфейс (либо интерфейс с портом 4040, либо интерфейс истории с портом 18080).
Я прочитал какую-то тему, подобную следующей: ссылки на журнал указывают на локальный контейнер, но моя проблема в том, что у меня вообще нет ссылок.
Разоблачение журналов Spark Worker (stdout stderr) в Кубернетесе
Кто-нибудь знает, нужно ли устанавливать какие-либо конфиги для наличия ссылок в журнале? Большое спасибо.