Извлечение кортежа из сумки в PIG

Question

FILE COnttent (test.txt):

Some    specific    column      value: x192.168.1.2     blah       blah
Some    specific    row        value: y192.168.1.3      blah       blah
Some    specific    field      value: z192.168.1.4     blah      blah

PIG QUERY:

A = LOAD 'test.txt' USING PigStorage('\t') AS (data1: chararray , data2: chararray , data3: chararray, data4: chararray , data5: chararray , data6: chararray);

B = foreach A generate data3, data4;

C = filter B by data3 matches 'row';

D = foreach C generate data4;

E = foreach D generate TOKENIZE(data4);

Вывод:

((value:), (y192.168.1.3))

Теперь я хочу извлечь определенный кортежв этом выходном пакете, скажем, второй кортеж (y192.168.1.3).После этого я хочу извлечь IP-адрес.Я пытаюсь сделать с UDF, но застрял.

Answer 1

Вы можете использовать Сгладить оператор , чтобы сгладить пакет, а затем использовать фильтр для извлечения IP-адреса.

E = foreach C generate flatten(TOKENIZE(data4));
F = filter E by $0 matches '.\\d+\\.\\d+\\.\\d+\\.\\d+'

Надеюсь, это поможет

Answer 2

Вот что я бы сделал.

PIG Script

A = LOAD 'test.txt' USING PigStorage('\t') AS (data1: chararray , data2: chararray , data3: chararray, data4: chararray , data5: chararray , data6: chararray);
B = foreach A generate data3, data4;
C = filter B by data3 matches 'row';
D = foreach C generate data4;
E = foreach D generate REGEX_EXTRACT($0,'value: .([0-9]+\\.[0-9]+\\.[0-9]+\\.[0-9]+).*', 1);

выход

(192.168.1.3)

При необходимости вы можете использовать более сумасшедшее регулярное выражение для извлечения IP-адреса: Извлекать IP-адреса из строк с помощью регулярного выражения

Answer 3

public class someClass extends EvalFunc<String>
{
   public String exec(Tuple input) throws IOException {
     DataBag bag = (DataBag)input.get(0);
     Iterator<Tuple> it = bag.iterator();
     Tuple tup;
     for(int i = 0; i < 2; i++)
     {
       tup = it.next();
     }
     String ipString = tup.get(0);
     String ip = //get ip from string with a regex
     return ip;
   }
 }

конечно, вы должны добавить некоторые проверки ввода (нулевые вводы, размер мешка 1 и т. Д.) И защитить код.