Я хотел бы просмотреть вывод операторов print в моих приложениях Spark, которые используют Python / PySpark.Верно ли, что эти выводы не считаются частью регистрации?Я изменил свой conf/log4j.properties файл для вывода в конкретный файл, но только информация и другие журналы записываются в указанный файл журнала.
Как мне направить вывод из операторов print в файл?Должен ли я сделать типичное перенаправление как это: /usr/bin/spark-submit --master yarn --deploy-mode client --queue default /home/hadoop/app.py > /home/hadoop/output?