Генерация SQL от Spark SQL

Question

У меня есть код Scala с Spark Data Frame с объединением нескольких кадров и фильтра и части Dynami c. Можно ли сгенерировать и записать в журнал код classi c SQL для управления процессом?

    val target = List(
        ("0", "0", "Orange", "2020-03-10")
    ).toDF("id", "new_id", "name", "process_date")


....
dynamic part of code
....

increment.as("i")
        .join(target.as("t"), $"t.id" === $"i.id", "left")
        .select(selectFields: _*)

Я хочу получить в журналах что-то вроде этого

select field1, field2, ....
from increment i join target t where t.id = i.id

Answer 1

возможно, вы могли бы попытаться записать в сам журнал сразу после выполнения запроса. Пример примерно такой:

import org.apache.log4j.{Level, Logger}

Logger.getRootLogger.setLevel(Level.ERROR)
// your code here
increment.as("i")
        .join(target.as("t"), $"t.id" === $"i.id", "left")
        .select(selectFields: _*)
Logger.getRootLogger.error("""SELECT column1, column2, column3 FROM table JOIN table1 ON(id = id1) WHERE column3 = .....GROUP BY ....""")

I wi sh, это будет полезно.