Как я могу решить "нужен тип структуры, но получил структуру"

Question

Как вы можете видеть на моей картинке, у меня есть столбец с именем вероятность, и я хочу создать новый столбец из столбца вероятность, Я хочу извлечь значения из столбца вероятности, который является массивом. Но при попытке сделать это я получаю сообщение об ошибке:

"Can't extract value from probability#52427: need struct type but got struct<type:tinyint,size:int,indices:array<int>,values:array<double>>"

Вот мой код извлечения:

preds_test = preds.withColumn("newCol", col("probability").getItem(3))

Может кто-то скажите пожалуйста что я сделал не так?

Answer 1

Я понял это. Я использовал лямбда-функцию. Это мой код:

preds_subset = preds.select('CustomerID','prediction', probs_churn('probability')).orderBy(asc("probability"))```