Как эффективно выполнить эту операцию столбца на кадре данных Spark?

Question

У меня есть следующий фрейм данных:

+---+---+---+
| F1| F2| F3|
+---+---+---+
|  x|  y|  1|
|  x|  z|  2|
|  x|  a|  4|
|  x|  a|  4|
|  x|  y|  1|
|  t| y2|  6|
|  t| y3|  4|
|  t| y4|  5|
+---+---+---+

Я хочу добавить еще один столбец со значением (number of unique rows of "F1" and "F2" for each unique "F3" / total number of unique rows of "F1" and "F2").

Например, для приведенной выше таблицы ниже желаемый новый фрейм данных:

+---+---+---+----+
| F1| F2| F3|  F4|
+---+---+---+----+
|  t| y4|  5| 1/6|
|  x|  y|  1| 1/6|
|  x|  y|  1| 1/6|
|  x|  z|  2| 1/6|
|  t| y2|  6| 1/6|
|  t| y3|  4| 2/6|
|  x|  a|  4| 2/6|
|  x|  a|  4| 2/6|
+---+---+---+----+

Примечание: в случае F3 = 4, есть только 2 уникальные F1 и F2 = {(t, y3), (x, a)}. Поэтому для всех вхождений F3 = 4, F4 будет 2/(total number of unique ordered pairs of F1 and F2. Here there are 6 such pairs)

Как добиться вышеупомянутой трансформации в Spark Scala?

Answer 1

Я только что узнал, пытаясь решить вашу проблему, что вы не можете использовать Отдельные функции при выполнении Window over DataFrames.

Итак, я создал временный DataFrame и объединил его с начальным, чтобы получить желаемые результаты:

case class Dog(F1:String, F2: String, F3: Int)
val df = Seq(Dog("x", "y", 1), Dog("x", "z", 2), Dog("x", "a", 4), Dog("x", "a", 4), Dog("x", "y", 1), Dog("t", "y2", 6), Dog("t", "y3", 4), Dog("t", "y4", 5)).toDF
val unique_F1_F2 = df.select("F1", "F2").distinct.count
val dd = df.withColumn("X1", concat(col("F1"), col("F2")))
           .groupBy("F3")
           .agg(countDistinct(col("X1")).as("distinct_count"))
val final_df = dd.join(df, "F3")
                 .withColumn("F4", col("distinct_count")/unique_F1_F2)
                 .drop("distinct_count")
final_df.show
+---+---+---+-------------------+
| F3| F1| F2|                 F4|
+---+---+---+-------------------+
|  1|  x|  y|0.16666666666666666|
|  1|  x|  y|0.16666666666666666|
|  6|  t| y2|0.16666666666666666|
|  5|  t| y4|0.16666666666666666|
|  4|  t| y3| 0.3333333333333333|
|  4|  x|  a| 0.3333333333333333|
|  4|  x|  a| 0.3333333333333333|
|  2|  x|  z|0.16666666666666666|
+---+---+---+-------------------+

Я надеюсь, что это то, что вы ожидали!

РЕДАКТИРОВАТЬ: я изменил df.count на уникальный_F1_F2