Валидация типов данных в источнике с ожидаемыми типами данных в pyspark

Question

Как сравнить типы данных искрового фрейма данных с ожидаемыми типами?

Я пытался

Validate_shema(df, dic)
   Df2=df.withcolumn('typ_freq',when(df.schema.["Frequency"].dataType != dic["Frequency"], False). Otherwise ('true')
   Df2=df.withcolumn('typ_region',when(df.schema.["Region"].dataType != dic["Region"], False). Otherwise ('true')
...
Df2.show()

Это дает мне ошибку - condition must be a column.

Кто-нибудь может подсказать?

Answer 1

должно быть

from pyspark.sql import functions as F

    Validate_shema(df, dic)
       Df2=df.withcolumn('typ_freq',when(F.col("Frequency").dataType != dic["Frequency"], False). Otherwise ('true')
       Df2=df.withcolumn('typ_region',when(F.col("Region").dataType != dic["Region"], False). Otherwise ('true')
    ...
    Df2.show()