Сохранить результат функции printSchema () в переменную в Pyspark?

Question

Я использую функцию printSchema для определения схемы файла Json. Я хочу сохранить результат этого вызова функции в переменной, чтобы анализировать ее построчно, чтобы я мог извлечь структуру схемы и преобразовать ее в схему DDL для создания таблицы в кусте.

Как это можно сделать?

Answer 1

Если вы проверите исходный код для printSchema(), вы увидите, что эта функция просто выполняет следующее:

print(self._jdf.schema().treeString())

Поэтому вы можете сохранить выходные данные следующим образом:

printSchemaString = df._jdf.schema().treeString()

Другие ссылки:

• Сохранение результата DataFrame show () в строку в pyspark
• Захват результата of объяснение () в pyspark