Начало работы с Avro - PullRequest
Новая
       34

Начало работы с Avro

15 голосов
/ 30 марта 2011

Я хочу начать с использования Avro с Map Reduce. Может ли кто-нибудь предложить хороший учебник / пример для начала. Я не мог найти много через поиск в Интернете.

Ответы [ 3 ]

17 голосов
/ 29 апреля 2011

Недавно я делал проект, который был основан на данных Avro, и раньше я не использовал этот формат данных, мне пришлось начинать с нуля. Вы правы в том, что при работе с Avro довольно сложно получить значительную помощь из онлайн-источников. Материал, который я бы порекомендовал вам:

  • На сегодняшний день самым полезным источником, который я нашел, был раздел Avro (p103-p116) в книге Тома Уайта: Руководство по определению , а также его страница Github для код, который он использует в книге.
  • Для дополнительных примеров кода я посмотрел страницу Gonub Рона Бодкина avro-mr-sample .
  • В моем случае я использовал Python для чтения и записи файлов Avro, и для этого я использовал учебник .
  • Несмотря на то, что это очевидно, я добавлю ссылку в список рассылки Avro Users . Там можно найти массу информации, и после того, как я прочитал вышеупомянутый материал и реализовал кучу кода, я обнаружил, что трачу часы на просмотр архивов.

Наконец, мое последнее предложение - использовать Avro 1.4.1 с Hadoop 0.20.2 и ТОЛЬКО эту комбинацию. У меня были серьезные проблемы с запуском моего кода с использованием Hadoop 0.21 и более поздних версий Avro.

2 голосов
/ 27 июня 2012

https://github.com/apache/avro/blob/trunk/lang/java/mapred Исходный код avro имеет примеры.например, TestReflectJob помогите мне написать работу по уменьшению карты, используя мои предопределенные доменные объекты

2 голосов
/ 24 апреля 2012

Другие ссылки:

Основная проблема, которую я вижу с документацией (мало что существует), заключается в том, что она фокусируется на очень трудоемком «родовом» подходе; что кажется странным, потому что сочетает в себе худшее из обоих миров - вы все равно должны предоставить полную схему для данных, но не получите никакой выгоды от статических типов или подобных. Автоматическая генерация кода более удобна, но не так хороша.

...