Можно ли использовать Avro с Hadoop 0.20?

Question

Я заинтересован в использовании Avro для сохранения и чтения файлов из HDFS Hadoop, и я видел некоторые средства отслеживания ошибок Jira в Hadoop, касающиеся реализации поддержки Avro, но не было примеров, как включить поддержку Avro в Hadoop.Также я не совсем уверен, что текущий 0.20 имеет поддержку Avro, потому что некоторые Jira были закрыты для 0.21.Можно ли получить последнюю версию 0,21 и как-нибудь завершить включение Avro и использовать его?

Answer 1

В этом сообщении блога показан пример кода для использования Avro в Map / Reduce Jobs: http://www.datasalt.com/2011/07/hadoop-avro/ Не так много примеров. Здесь вы найдете некоторые фрагменты кода о том, как настроить стандартное задание Map / Reduce для использования Avro в качестве формата ввода или вывода или обоих. Есть также некоторые приемы, например, как написать собственный GroupComparator для вторичной сортировки или как указать пользовательский Partitioner (вещи, которые я больше нигде не нашел).

Answer 2

Я использую Avro с Hadoop 0.20 (Amazon Elastic MapReduce). Вы включаете поддержку Avro, включив jar Avro в ваш путь к классу, а затем расширяете предоставляемые Avro классы для реализации задач Map и Reduce.

См. http://avro.apache.org/docs/1.4.0/api/java/index.html и, в частности, отображенный пакет в http://avro.apache.org/docs/1.4.0/api/java/org/apache/avro/mapred/package-frame.html.