Карта Сокращение работы на Амазоне: аргумент для пользовательского фляги

Question

Это одна из моих первых попыток использовать Map Reduce на AWS в консоли управления.Привет, я загрузил на AWS S3 мой готовый кувшин, разработанный на Hadoop 0.18, и он работает на моей локальной машине.Как описано в документации, я передал пути S3 для ввода и вывода в качестве аргумента jar: все в порядке, но проблема заключается в третьем аргументе, который является другим путем (в виде строки) к файлу, который мне нужно загрузить во время работынаходится в исполнении.Этот файл также находится в корзине S3, но похоже, что мой jar не распознает путь, и я получил исключение FileNotFound, когда он пытается загрузить его.Это странно, потому что этот путь точно такой же, как и у двух других ...

У кого-нибудь есть идеи?

Спасибо

Лука

Answer 1

Сонал,

спасибо за ваше предложение.В конце концов решение использовало DistributedCache.

Загрузка файла перед запуском задания, к которому у меня есть доступ к классу карты, когда мне нужно, переопределив метод confiure и вынув файл из распределенного кэша (уже загруженного).с файлом).

Спасибо,

Лука

Answer 2

Это проблема с AWS, пожалуйста, проверьте урок 2 на http://meghsoft.com/blog/. Проверьте, можете ли вы использовать FileSystem.get (uri, conf) для получения файловой системы, поддерживающей ваш путь.

Надеюсьэто помогает.

Сонал