Как я могу преобразовать имя столбца спаркфрейма и данные строки в данные json

Question

У меня есть фрейм данных pyspark

 spark = SparkSession\
        .builder\
        .appName("NPS_TF")\
        .getOrCreate()
 df2 = spark.createDataFrame([
        ("unknown", 1,2,3)
    ], ["Assign", "xs[0]","xs[1]","xs[2]"])

 df2.limit(1).show()

как я могу преобразовать часть имени столбца фрейма данных и данных первой строки в этот формат json:

{"fields": ["xs[0]", "xs[1]", "xs[2]"], "values": [[1,2,3]]}

Answer 1

Проверьте это решение

df2 = spark.createDataFrame([("unknown", 1,2,3)], ["Assign", "xs[0]","xs[1]","xs[2]"])
fields = ['xs[0]', 'xs[1]', 'xs[2]']
values = df2.rdd.map(lambda p: [p[field] for field in fields]).collect()

json_obj = {
    'fields': fields,
    'values': values
}