Преобразовать словарь в фрейм данных в pyspark для ключа Unicode и списка значений с плавающей запятой

Question

У меня есть экземпляр словаря, который имеет Unicode (использует UTF-8) ключ и значение в качестве списка значений с плавающей запятой. Когда я бегу ниже код:

dictDF = sc.parallelize(mapOfVectors).toDF()

Сбой с ошибкой: Невозможно вывести схему для типа: введите 'unicode' при преобразовании RDD в DataFrame.

Может кто-нибудь подсказать, как это можно сделать?

Answer 1

Попробуйте использовать pandas.DataFrame.from_dict :

import pandas as pd
dictDF = pandas.DataFrame.from_dict(sc.parallelize(mapOfVectors))