Как перехватить логи spark stderr в локальном режиме pyspark - PullRequest
0 голосов
/ 08 января 2020

Я хотел бы просмотреть журналы Spark stderr, но не могу их найти. В предыдущем опыте я запускал их из Spark UI на вкладке Executors, но похоже, что в этой новой среде есть только дамп потока. Где находятся журналы stdout и stderr?

enter image description here

Я использую PySpark 2.4.3 в локальном режиме ( нет YARN / автономный кластер):

SparkSession
  .builder
  .appName("theAppName")
  .config('spark.driver.memory','1g')
  .master('local[*]')
  .getOrCreate()

Python версия: 3.6.8 (я работаю в JupyterLab)

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...