Как получить список всех столбцов, имеющих значения NULL только в улье?

Question

Я работаю над огромным набором данных, содержащим более 10 тыс. Строк и более 600 столбцов в Hive . Есть несколько столбцов строк, которые имеют значение NULL для всех строк. Как мне получить список всех столбцов, содержащих только NULL значения?

Answer 1

Используйте count(col) для подсчета всех NOT NULL строк для некоторого столбца.

Столбцы со всеми NULL s будут иметь 0 счетчиков:

select
count(col1) as col1_cnt,
count(col2) as col2_cnt,
...
count(colN) as colN_cnt

from table