PIG: несколько записей должны быть расположены в определенном наборе столбцов - PullRequest
0 голосов
/ 12 февраля 2019

У меня есть сценарий, где у меня есть данные, как показано ниже:

Customer ID | Customer Name | Customer Post Code |Relation
C1 | John | E6 1NQ | R1
C2 | Peter | WC2 8AD | R1
C3 | Emilia | PC81 7RE | R1
C4 | Jessica | NE24 5RE | R1

Я должен обработать вышеупомянутые данные, используя PIG, и подготовить экстракт, как показано ниже:

Relation | Customer ID | Customer Name | Customer Post Code | Customer ID | Customer Name | Customer Post Code
R1 | C1 | John | E6 1NQ | C2 | Peter | WC2 8AD
R1 | C3 | Emilia | PC81 7RE | C4 | Jessica | NE24 5RE

Я попытался сгруппировать по входной таблице на R1, а затем попытался создать столбцы, используя FOREACH, но это мне не помогло.

1 Ответ

0 голосов
/ 01 апреля 2019

Я решил эту проблему, сначала сгруппировав записи по СВЯЗИ, а затем использовал перечисление для ранжирования сгруппированных записей.После этого я создал два отношения: первое отношение с записями, имеющими нечетные числа, и второе отношение с записями, имеющими четные числа.После этого я сделал FULL OUTER JOIN BY RELATION и Rank для обоих отношений, после чего сгенерировал желаемый результат

...