SparkStream: преобразование строки в плавающее в SQL-запросе

Question

Я пытаюсь преобразовать String в число с плавающей запятой в SQL-запросе Spark Stream .

Однако я не могу этого сделать.Может кто-нибудь, пожалуйста, помогите.

Код для моего преобразования:

       dataFrame
        .select($"payment".cast("float"))
        .filter($"modeOfPayment" =!= "")
        .show()

.cast () метод не работает для меня конвертировать строки в Float.Мы будем благодарны за любую помощь.

Я работаю:
Версия Spark: 2.3.0
Версия Scala: 2.11.11

Answer 1

Мне удалось решить эту проблему, используя следующий синтаксис:

import org.apache.spark.sql.types.FloatType

dataFrame
  .withColumn("payment", dataFrame("payment") cast FloatType)
  .show()

Оператор фильтра не работает. Возможно, потребуется некоторая помощь с ним.