Я создал инфраструктуру pyspark и хотел перенаправить весь журнал искр в файл.
Я пытался использовать модуль логгера, но не уверен, как передать весь журнал в файл. Есть ли способ сделать это в pyspark. Или есть способ использовать команду Unix, чтобы использовать ее в pyspark, например: Os.system (Exe c () >> output.log)