В моем наборе данных около 200000 тысяч строк. Используя приведенную ниже команду в PIG, я пытаюсь удалить нулевые значения, но получаю неправильный вывод. Что мне здесь не хватает? Пожалуйста, помогите.
Я использовал
div = Foreach dataset generate $43 as A,$44 as B,.....,$50 as H;
и пытаюсь исключить нулевые значения, чтобы найти индивидуальную переменную countа также общее количество.
values = filter div by A is not null AND B is not null AND C is not null AND D is not null AND E is not null AND F is not null AND G is not null AND H is not null;
И неверный вывод.
Я хочу, чтобы окончательный результат был похож наH 1056 U 4355 W 999 P 1000 Y 2199