Вставить словарь в столбец pyspark df

Question

у меня есть словарь, и я хочу поместить его в столбец, как мне его достичь?

{' Bariatrics': 13, ' Cardiovascular / Pulmonary': 347, ' Neurology': 198...}

Цель:

+--------------------+------------------------------------------------------+
|   medical_specialty|medical specialty                                     |
+--------------------+------------------------------------------------------+
|                male|{' Bariatrics': 13, ' Cardiovascular / Pulmonary': 347|
|              female|{' Bariatrics': 7, ' Cardiovascular / Pulmonary':  127|
+--------------------+------------------------------------------------------+

это код, который у меня есть

m=[gender0["medical_specialty"] for gender0 in gender0.rdd.collect()]
dictmale={a:m.count(a) for a in m}

-

c= spark.createDataFrame(
  [
    ('Male', dictmale),
    ("Female",dictfemale),

  ],
  ['Gender',"medical_specialty"]
)
display(c)

, но это дает мне ошибку:

TypeError: field medical_specialty: Can not merge type <class 'pyspark.sql.types.MapType'> and <class 'pyspark.sql.types.ArrayType'>