Ключевое слово STREAM в сценарии pig, работающее в Amazon Mapreduce - PullRequest
0 голосов
/ 24 января 2010

У меня есть скрипт pig, который активирует другую программу на python. Мне удалось сделать это в моей собственной среде hadoop, но я всегда терплю неудачу, когда запускаю свой скрипт в Amazon map Reduce WS.

В журнале сказано:

org.apache.pig.backend.executionengine.ExecException: ОШИБКА 2090: Произошла ошибка при обработке плана сокращения: '' не удалось с состоянием выхода: 127 в org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigMapReduce $ Reduce.runPipeline (PigMapReduce.java:347) в org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigMapReduce $ Reduce.processOnePackageOutput (PigMapReduce.java:288) в org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigMapReduce $ Reduce.reduce (PigMapReduce.java:260) в org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigMapReduce $ Reduce.reduce (PigMapReduce.java:142) в org.apache.hadoop.mapred.ReduceTask.run (ReduceTask.java:321) в org.apache.hadoop.mapred.TaskTracker $ Child.main (TaskTracker.java:2216)

Есть идеи?

Ответы [ 2 ]

0 голосов
/ 24 января 2010

Проблема решена! Все, что мне нужно, это использовать опцию cache ('s3: //') при определении потоковой команды

0 голосов
/ 24 января 2010

Вы убедились, что скрипт отправлен вместе с заданием Elastic MapReduce?

...