формируя новые столбцы в виде одного горячего вектора

Question

У меня есть фрейм данных:

customer | Department
----------------------
A        |   Food
B        |   Home
A        |   Office
C        |   Home
A        |   Home
B        |   Office

И столбцы Customer и Department имеют тип String

Как можно преобразовать различные типы отделов в новые столбцы, например один горячий вектор, чтобысоздайте новый фрейм данных, показанный ниже:

 customer | Food | Home | Office
-----------------------------------
    A        1     1      1
    B        0     1      1
    C        0     1      0

Здесь столбцы Food, Home, Office имеют целочисленный тип, а customer - String.

Answer 1

Вам просто нужно group данные category и pivot с агрегированным значением

val df = Seq(
  ("A", "Food"),
  ("B", "Home"),  
  ("A", "Office"),
  ("C", "Home"),
  ("A", "Home"),
  ("B", "Office")
).toDF("customer", "department")


df.groupBy("customer").pivot("department").agg(count("department"))
    .na.fill(0)

Выход:

+--------+----+----+------+
|customer|Food|Home|Office|
+--------+----+----+------+
|B       |0   |1   |1     |
|C       |0   |1   |0     |
|A       |1   |1   |1     |
+--------+----+----+------+