Искровая ошибка при использовании, кроме как на фрейме данных с MapType

Question

Я вижу ошибку Невозможно иметь столбцы типа карты в DataFrame, которая вызывает операции набора при использовании Spark MapType .

Ниже приведен пример кода, который я написал для его воспроизведения.Я понимаю, что это происходит потому, что объекты MapType не являются хэшируемыми, но у меня есть сценарий использования, где мне нужно сделать следующее.

val schema1 = StructType(Seq(
                 StructField("a", MapType(StringType, StringType, true)),
                 StructField("b", StringType, true)
              ))
val df = spark.read.schema(schema1).json("path")
val filteredDF = df.filter($"b" === "apple")
val otherDF = df.except(filteredDF)

Есть предложения по обходным путям?