консольный вывод spark-submit (stdout & stderr) перезаписывается

Question

Я запускаю небольшое приложение Spark, используя spark-submit. Это терпит неудачу с исключением. Но сгенерированный вывод консоли кажется перезаписанным / смешанным. В частности, трассировка стека вызовов, похоже, смешивается с сообщением об исключении.

Пробовал перенаправлять stdout и stderr на отдельные файлы, но безуспешно. Пытался посмотреть на stdout / stderr из журнала приложения в веб-интерфейсе Spark, но он не показывает никаких ошибок / исключений.

Это работает на Dockerized Spark 2.4.0 / Scala 2.12, с двумя рабочими. Образы докеров созданы на основе bde2020 / spark-base: последние изображения доступны на Docker Hub. Я попытался настроить файлы Docker, чтобы удалить программную ссылку, которая перенаправляет журнал вывода Spark на консоль. Но ни один из них не имеет никакого отношения к проблеме.

Ниже приведена команда spark-submit и вывод:

/ # spark-submit --class churnPredict --master spark://spark-master:7077 --conf spark.sql.shuffle.partitions=4 churn_2.12-0.1.0-SNAPSHOT.jar GDCData GDCData tdap790t1.labs
.teradata.com 2
19/05/28 13:53:40 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Create Spark Session
Build JDBC URL
Read the model from disk
Exceptioat org.apache.spark.rdd.RDD$$anonfun$first$1.apply(RDD.scala:1380)collection
        at org.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:112)
        at org.apache.spark.rdd.RDD.first(RDD.scala:1377)63)
        at org.apache.spark.ml.classification.LogisticRegressionModel$LogisticRegressionModelReader.load(LogisticRegression.scala:1251)
        at org.apache.spark.ml.util.MLReadable$class.load(ReadWrite.scala:380)RegressionModelReader.load(LogisticRegression.scala:1245)
        at churnPredict$.main(churn.scala:93).LogisticRegressionModel$.load(LogisticRegression.scala:1220)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at org.apache.spark.deploy.JavaMainApplication.start(SparkApplication.scala:52)
        at org.apache.spark.deploy.SparkSubmit.doRunMain$1(SparkSubmit.scala:167)t$$runMain(SparkSubmit.scala:849)
        at org.apache.spark.deploy.SparkSubmit.doSubmit(SparkSubmit.scala:86)
        at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:933).scala:924)
        at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)