Как я могу увидеть журналы исполнителя в Livy, работающем в kubernetes?

Question

У меня развертывание стабильного / spark Helm, работающее в Kubernetes и отправляющее задание через Livy.

curl -X POST --data '{"className": "LogBundleConfigFetcher", "file ":" http: ///aliceparser_2.11-19.12.09.jar "," args ": [" "]} '-H" Тип содержимого: приложение / json "http: //: 8998 / batches

Я вижу журналы драйверов в модуле Livy. Но я не вижу журналы исполнителей.

Есть ли способ просмотреть журнал исполнителей?

Answer 1

Livy API не предоставляет способ доступа к журналам Spark Executor.

Я бы порекомендовал вам взглянуть на проект Grafana Loki для простого сбора журналов в кластере Kubernetes.

Кроме того, Livy можно настроить для сбора журналов Executor, но это приведет к большим издержкам в масштабе.