Я хотел бы просмотреть журналы Spark stderr
, но не могу их найти. В предыдущем опыте я запускал их из Spark UI на вкладке Executors, но похоже, что в этой новой среде есть только дамп потока. Где находятся журналы stdout
и stderr
?
![enter image description here](https://i.stack.imgur.com/ngiDu.png)
Я использую PySpark 2.4.3 в локальном режиме ( нет YARN / автономный кластер):
SparkSession
.builder
.appName("theAppName")
.config('spark.driver.memory','1g')
.master('local[*]')
.getOrCreate()
Python версия: 3.6.8 (я работаю в JupyterLab)