Я не использую PySpark.
Я использую Scala для запуска моего приложения Spark.
Я выполняю скрипт python в приложении spark, вызывая вызов RDD.pipe.
Я хочу иметь возможность регистрировать что-то из скрипта Python и видеть зарегистрированную информацию в журнале исполнителя.
Я не использую PySpark.
Я выполняю скрипт Python в приложении Spark через API RDD.pipe.
Я хочу каким-то образом предоставить пользователю возможность отладки сценария, печатая некоторые сообщения на уровне сценария Python, и чтобы эти сценарии Python были доступны на уровне регистратора Spark.
Как я могу это сделать?