pyspark hive - вставить NULL как DB null через текстовый файл

Question

При вставке текстового файла из оболочки pyspark в таблицу hive .

Значения NULL рассматриваются как строка в таблице.

Если я запрашиваю таблицу куста, записи можно повторить только с условием фильтрации = 'NULL', а не is null.

Может ли кто-нибудь предложить, как вставить данные как DB NULLS в таблицу

Answer 1

Проверьте, имеет ли ваш фрейм данных Spark значение null или None. И при записи в таблицу куста установите для параметра nullValue значение

df.write.option('nullValue', None).saveAsTable(path)

. Это решит вашу проблему.