У меня проблемы с Свиньями. Я использую Hortonworks 2.4 с установленным oop и поросенком. Я пытаюсь выполнить некоторые запросы, и после того, как все прошло успешно, я обнаружил, что у меня начинаются проблемы с дампом чего-либо.
Каждый раз, когда я сбрасываю свои киоски с заданиями Mapreduce на 0%. Скорее всего, я предполагаю, что это связано с нехваткой ресурсов, но не уверен, как все устроить. Я даже выделил еще 8 ГБ памяти для моей виртуальной машины в настройках.
Вот что я сделал,
a = load '/user/assignment2/routes.dat' using PigStorage(',') AS (airline:chararray, airline_id:chararray, start_airport:chararray, start_id:chararray, end_airport:chararray, end_id:chararray, codeshare:chararray, stops:chararray, equipment:chararray);
b = foreach a generate start_airport, end_airport;
c = distinct b;
d = limit c 5;