У меня есть приложение spark, и я реализовал расширение DataFrame -
def transform : Dataframe => Dataframe
, поэтому разработчик приложения может передавать пользовательские преобразования в моей среде.Как
builder.load(path).transform(_.filter(col("sample") == lit(""))).
Теперь я хочу отследить, что произошло во время выполнения искры: Журнал:
- val df = spark.read ()
- val df2 =df.filter (col ("sample") == lit ("")))
- ...
Таким образом, идея состоит в том, чтобы вести журнал действий и красиво печататьэто в конце, но для этого мне нужно как-то получить содержимое функции Dataframe => DataFrame.Возможно, мне могут помочь макросы, но я не уверен.Я на самом деле не нуждаюсь в коде (однако буду благодарен за это), но просто получу направление.