У меня есть сценарий использования, в котором я хочу регистрировать события, обновляющиеся, кто выполнил какой SQL-оператор в spark.Я думал, что смогу достичь этого, используя Spark Listener.Однако я не могу найти ни одного списка для переопределения, которое могло бы дать мне SQL about to be executed до SQL has been executed.
Есть прослушиватель для JOB start и Task Start, который не предоставляет информацию о SQL.или я что-то упустил?