Невозможно извлечь третий элемент из функций столбца:
rescaledData.withColumn("test", rescaledData["features"].getItem(2)) rescaledData.selectExpr("features[2]").show()
Оба не работают