Конфликт зависимости потока с реализацией HBaseEventSerializer - PullRequest
0 голосов
/ 30 ноября 2018

Справочная информация:

Я использую следующее:

  • apache flume версия 1.8.0
  • protobuf версия 3.5

Я храню сериализованные сообщения protobuf в теме kafka.Я хочу сохранить эти данные в HBase, и поэтому я выбрал apache flume в качестве нашего механизма доставки данных.У меня есть реализация HBaseEventSerializer (сериализатор пользовательских событий) для преобразования данных в то, что мне нужно в HBase.Часть инструкций преобразования включает десериализацию сообщения protobuf с использованием наших сгенерированных java-привязок.

Исключение:

Я получаю исключение MethodNotFound в моем журнале потоков.Трассировка стека показывает, что исключение обрабатывается моим настраиваемым сериализатором событий.

Попытки:

Я попытался сохранить JAR 3.5 protobuf в мою директорию lib flume и изменить уровень разрешений 2.5 protobuf.JAR до 000, но это заставляет Flume Agent генерировать исключение времени выполнения намного раньше во время запуска.

Мысли:

Я думал об использовании заштрихованных JAR для решения проблемы.

Кто-нибудь сталкивался с подобной проблемой JAR HELL с лотком, у которого есть решение?

...