Spark версия фрейма данных pd.DataFrame.from_dict (data)

Question

У меня есть словарь следующей структуры

dictio = {"name":["name1","name2"],
          "tAcc":[0.8,0.8],
          "eAcc":[0.8,0.8]}

Я хочу преобразовать этот словарь в фрейм данных spark:

"name"   "tAcc"     "eAcc"
___________________________
"name1"   0.8       0.8
"name2"   0.8       0.8

функция панд pd.DataFrame.from_dict (data) выполняет эту работу. Существует ли искровая версия этой функции?

Answer 1

Нет никакой причины использовать здесь что-либо кроме промежуточных панд DataFrame (где spark - экземпляр SparkSession):

spark.createDataFrame(pd.DataFrame.from_dict(data))

Для любого практического применения, имеющего в словаре памяти, будетузкое место в любом случае, и его следует отбросить для любых, кроме самых простых, реальных приложений.