В настоящее время я создаю конвейер Datafusion, который принимает CSV-файл и загружает его в таблицу больших запросов (выводится из файла параметров).
У меня есть макрокоманда схемы вывода для компонентов, потому что эта схема может измениться.
В начале конвейера у меня есть компонент pyspark, который читает схему CSV и генерирует строку json схемы.
Как передать эту строку json использоваться для более поздних компонентов (или установить его как макрос в моем коде PySpark)?