Как рассчитать нулевые значения из таблицы с помощью spark-scala?

Question

У меня есть имя таблицы "data", которая имеет 5 столбцов и каждый столбец содержит несколько нулевых значений. Я хочу взять количество пустых значений каждого столбца, как я могу написать код для этого результата! легко считать один столбец, но как я могу написать код для подсчета каждого столбца таблицы.

образец:

+----------------+----------------+--------+---------+-------------+
| 2              |3               |4       |  5      |6            |
+----------------+----------------+--------+---------+-------------+
|null             |1               | null   |null     |null         |
|null             |null            | null   |null     |asdc         |
|null             |23              | 23     |null     |null         |
|null             |null            | null   |23       |41           |
|24               |3               | 35     |null     |null         |
|null             |null            | null   | 1       |wef          |
|null             |32              | 54     |null     |45           |
|null             |null            | null   |123      |null         |
|w411             |31              | 12     |null     |null         |
|null             |null            | null   |11       |null         |
+----------------+----------------+--------+---------+-------------+

как считать нулевой счетчик каждого столбца

У меня есть 40 таблиц, которые содержат 5, 6 или 10 столбцов, и каждый столбец содержит некоторые нулевые значения. Я просто хочу взять нулевой счетчик для каждого столбца таблиц, что является лучшим способом получить нулевой счет!

Заранее спасибо!

Answer 1

Если вы не хотите удалять пустые строки / столбцы и вам не нужно выполнять какие-либо дополнительные вычисления в вашей работе, это должно работать для вашего:

 df.select(df.columns.map(colName => {
    count(when(col(colName).isNull, true)) as s"${colName}_nulls_count"
  }): _*)
  .show(10) // or save result somewhere