Мне нужно объединить строки в столбцы, выбирая значения из другого столбца в Spark- SQL. Рассмотрим таблицу ниже, в которой столбцы отображаются в виде отдельных строк для каждого Product_id. Я должен повернуть строки в столбцы, имеющие значения в другом столбце:
prod_id | column_id | column_value
P0001 | IsValdFlg | Y
P0001 | IsTrmtFlg | N
P0001 | IsActvFlg | N
P0002 | IsValdFlg | N
P0002 | IsActvFlg | Y
Ожидаемый результат:
prod_id | isValdFlg | IsTrmtFlg | IsActvFlg
P0001 | Y | N | N
P0002 | N | Null | Y
Обратите внимание, что для P0002, поскольку нет записи с 'IsTrmtFlg '(в отличие от P0001), в этом столбце по умолчанию используется NULL для P0002.
Может кто-нибудь помочь с выполнением этого требования с помощью Spark-SQL. Пожалуйста, обратите внимание, что у меня есть доступ только к Spark- SQL, но не к PySpark.
Пожалуйста, дайте мне знать, если требуется дополнительная информация. Любая помощь приветствуется.
Спасибо.