Я использую AWS Glue для преобразования набора данных, имеющих несколько строк, на основе значения одного столбца.Я пытаюсь повернуть данные и уменьшить количество строк.
Я считаю, что могу использовать Amazon Glue для этого.Но я впервые использую клей.Я изо всех сил пытаюсь найти хороший способ сделать это.Некоторые преобразования PySpark-extension выглядят многообещающе (возможно, «Map» или «Relationalize»).Какой хороший способ?
Например:
primary_key|key|value
12345|is_male|1
12345|is_college_educated|0
до
primary_key|is_male|is_college_educated
12345|1|0