Как извлечь ключ из maptype для использования его в функции agg (спарк-фрейм данных)

Question

Я читаю некоторые данные из parquet file с помощью spark, используя scala и dataframes, и пытаюсь извлечь их из ключа maptype и использовать его в функции groupby.

ЗДЕСЬ пример:

    val sh = StructType(Array(
   StructField("sessionId", StringType, true),
 StructField("productTypes", MapType(StringType, IntegerType, true))) 

df.select(
col("productTypes"),
   col("sessionId")
)
    .withcolumn("output".select(explode(col("productTypes"))).select("key")

) но это исключение

type mismatch;
[error]  found   : org.apache.spark.sql.DataFrame
[error]     (which expands to)  org.apache.spark.sql.Dataset[org.apache.spark.sql.Row]
[error]  required: org.apache.spark.sql.Column
[error] .withColumn("col4", df.select(explode((col("productTypes")))).select("key"))