EC2 Сбой потока работ - PullRequest
       26

EC2 Сбой потока работ

2 голосов
/ 18 октября 2011

У меня есть jar-файл MapReduce, который я хотел бы запустить на s3. Требуется два аргумента: входной каталог и выходной файл.

Итак, я попробовал следующую команду, используя инструмент линии эластичного сопоставления ruby ​​cmd:

elastic-mapreduce -j j-JOBFLOW --jar s3n://this.bucket.com/jars/this.jar --arg s3n://this.bucket.com/data/ --arg s3n://this.bucket.com/output/this.csv

Это не удалось с ошибкой

Исключение в потоке "main" java.lang.ClassNotFoundException: s3n: // this / bucket / com / data /

Итак, я попробовал это, используя --input и --output после соответствующих аргументов. Это также не удалось из-за ошибки в классе --input, который не был найден (похоже, он не может расшифровать --input и не может расшифровать аргумент после ввода)

Это кажется такой простой вещью, но у меня проблемы с тем, чтобы заставить ее работать. Буду признателен за любую оказанную помощь. Спасибо.

1 Ответ

0 голосов
/ 11 января 2012

Попробуйте:

elastic-mapreduce --create --jar s3n://this.bucket.com/jars/this.jar --args "s3n://this.bucket.com/data/,s3n://this.bucket.com/output/this.csv"

Дважды проверьте свой сосуд, входные данные есть:

s3cmd ls s3://this.bucket.com/data/
...