как создать предупреждение для данных в фрейме данных в Apahe Spark

Question

У меня есть фрейм данных, я только что сделал «сумму» для двух столбцов (столбцы типа int). Как («сложение») я хочу вызвать предупреждение, если значение столбца «Добавление» превышено (больше 3)

спасибо

Answer 1

Ниже приведен пример того, как вы можете сделать. Вы можете отфильтровать (или выполнить любое другое действие) столбец alert кадра данных sumDF.

val nums = Seq(
    (1, 2),
    (4, 4),
    (0, 3)
  ).toDF("col1", "col2")

  val sumDF = nums
    .withColumn("addition", nums("col1") + nums("col2"))
  sumDF.show()

//  +----+----+--------+
//  |col1|col2|addition|
//  +----+----+--------+
//  |   1|   2|       3|
//  |   4|   4|       8|
//  |   0|   3|       3|
//  +----+----+--------+
  sumDF
    .withColumn("alert", sumDF("addition") > 3)
    .show()
//  +----+----+--------+-----+
//  |col1|col2|addition|alert|
//  +----+----+--------+-----+
//  |   1|   2|       3|false|
//  |   4|   4|       8| true|
//  |   0|   3|       3|false|
//  +----+----+--------+-----+