Свинья головоломка: переписать задействованный редуктор как простой сценарий свиньи? - PullRequest
Новая
       4

Свинья головоломка: переписать задействованный редуктор как простой сценарий свиньи?

1 голос
/ 08 ноября 2011

Есть учетная запись ids, каждый с timestamp, сгруппированным по username.для каждого из этих групп имен пользователей мне нужны все пары (самая старая учетная запись, другая учетная запись).

У меня есть Java-редуктор, который делает это, могу ли я переписать его как простой сценарий pig?

Схема:

{group:(username),A: {(id , create_dt)}

Ввод:

(batman,{(id1,100), (id2,200), (id3,50)})
(lulu  ,{(id7,100), (id9,50)})

Желаемый выход: 

(batman,{(id3,id1), (id3,id2)})
(lulu  ,{(id9,id7)})

1 Ответ

1 голос
/ 12 декабря 2011

Не то, чтобы кто-то, кажется, заботится, но здесь идет.Вы должны создать UDF: 

desired =   foreach my_input generate group as n, FIND_PAIRS(A) as pairs_bag;

И UDF: 

public class FindPairs extends EvalFunc<DataBag> {
@Override
    public DataBag exec(Tuple input) throws IOException {
        Long pivotCreatedDate = Long.MAX_VALUE;
        Long pivot = null;

        DataBag accountsBag = (DataBag) input.get(0);
        for (Tuple account : accountsBag){
            Long accountId = Long.parseLong(account.get(0).toString());
            Long creationDate = Long.parseLong(account.get(4).toString());
            if (creationDate < pivotCreatedDate ) {
                // pivot is the one with the minimal creation_dt
                pivot = accountId;
                pivotCreatedDate = creationDate;
            }
        }

        DataBag allPairs = BagFactory.getInstance().newDefaultBag();
        if (pivot != null){
            for (Tuple account : accountsBag){
                Long accountId = Long.parseLong(account.get(0).toString());
                Long creationDate = Long.parseLong(account.get(4).toString());
                if (!accountId.equals(pivot)) {
                    // we don't want any self-pairs
                    Tuple output = TupleFactory.getInstance().newTuple(2);
                    if (pivot < accountId){
                            output.set(0, pivot.toString());
                            output.set(1, accountId.toString());
                    }
                    else {
                  output.set(0, accountId.toString());
                    output.set(1, pivot.toString());
                    }
                allPairs.add(output);
            }
        }               
        return allPairs;
}

, и если вы хотите играть очень хорошо, добавьте: 

/**
 * Letting pig know that we emit a bag with tuples, each representing a pair of accounts
 */
@Override
public Schema outputSchema(Schema input) {
    try{
        Schema pairSchema = new Schema();
        pairSchema.add(new FieldSchema(null, DataType.BYTEARRAY));
        pairSchema.add(new FieldSchema(null, DataType.BYTEARRAY));
        return new Schema(
                new FieldSchema(null,
                new Schema(pairSchema), DataType.BAG));         
    }catch (Exception e){
            return null;
    }
}

}

...