Есть ли какой-нибудь хороший (и элегантный, если есть ..) способ извлечения списка таблиц, участвующих в преобразовании, при использовании spark.sql (...)?
Мне нужно динамически идентифицировать список таблиц (в идеале без использования логики синтаксического анализа клиента) в запросе spark sql и применять преобразования в нисходящем потоке в зависимости от используемых таблиц.
Я думал об использовании парсера SQL по умолчанию в
import spark.sessionState.sqlParser
но мне просто интересно, есть ли простой способ сделать это ??