Как я могу добавить столбец к фрейму данных в Spark, значения которого будут зависеть от содержимого 2-го фрейма данных?

Question

Скажем, у меня есть один фрейм данных, df1, один из его столбцов - "город".

Мне нужно создать новый столбец, который будет в основном перечислять, сколько раз конкретное название города встречается во втором кадре данных, df2.

Спасибо!

Answer 1

var df3 =df2.groupBy("city").count

df1.join(df3,Seq("city"), "left")

Это даст вам ответ. Здесь объединение используется как метод поиска