Как удалить лишние записи из кортежа в apache pig

Question

Как решить проблему лишних запятых или записей из кортежа

ab = load "/path/file1.txt" USING PigStorage(',') AS (id1:chararray, id2:chararray, dt:chararray, qty:int);

Токовый выход: - (F1,S9,12/09/2011,2,,,)

Ожидаемый вывод: - (F1,S9,12/09/2011,2)

Должен ли я внести изменения в текст, который есть в моем file.txt или что-то еще?

Answer 1

Запись пути между одинарной кавычкой ('') в операторе LOAD.

Пример:

ab = load '/path/file1.txt' USING PigStorage(',') AS (id1:chararray, id2:chararray, dt:chararray, qty:int);