Pig скрипт для группировки и агрегирования данных массива json - PullRequest
Новая
       27

Pig скрипт для группировки и агрегирования данных массива json

0 голосов
/ 31 декабря 2018

Я новичок в написании скриптов Pig.

У меня есть следующие входные данные json 

{"userid":"user-1","subjects":["abc","pqr"]}
{"userid":"user-1","subjects":["efg","xyz","abc"]}
{"userid":"user-2","subjects":["abc","pqr","mno"]}
{"userid":"user-2","subjects":["abc","efg"]}

Я хочу написать скрипт свиньи, который преобразует данные в 

{"userid":"user-1","subjects":["abc","pqr","efg","xyz"]}
{"userid":"user-2","subjects":["abc","pqr","mno","efg"]}

Вывод сгруппирован по разным идентификаторам пользователей, а предметы содержат уникальные символы.

...