Почему я получаю неправильное значение count () в sparkSQL

Question

Я использую sparkSQL, у меня есть один столбец, общее количество которых составляет 1252226.

spark.sql("""select col1 from employee """).count()

output: 1252226 



spark.sql("""select distinct col1 from employee """).count()

output: null
        X 

 count for X = 288149
       IS NULL = 964077  


spark.sql("""select col1 from employee where col1 != 'a' """).count()

    output: 0 

Здесь, в последнем запросе (где! - 'a'), почему он показывает 0 записей, он должен показать1252226.