У меня есть задание PySpark, которое я отправляю в Livy с помощью Python-клиента .
Я бы хотел отладить его, и я натолкнулся на эту статью , но речь идет о Java и использует значение конфигурации spark.driver.extraJavaOptions, в то время как мне нужно, чтобы оно было в Python.
Так есть ли способ отладки, когда он выполняется (через pdb или любой другойметод)?