flume kafkasource, hdfs раковина удалить поле avro - PullRequest
Новая
       5

flume kafkasource, hdfs раковина удалить поле avro

0 голосов
/ 10 января 2019

Я хочу создать таблицу со сложным типом, удаленным из данных avro в той же схеме. Это потому, что Импала не пропускает сложные типы. Платформа CDH 6.0.1

Например: 

Employee(raw data)
  - name : string
  - age : int
  - additional-info : map<string, string>

Employee(Hive table 1)
  - name : string
  - age : int
  - additional-info : map<string, string>

Employee_For_Implala(Hive table 2)
  - name : string
  - age : int

Трубопровод:

КафкаПроизводитель (Avro Bytes) - Кафка - Flume - HDFS - Улей (Импала)

Flume: KafkaSource - Канал - Раковина (AvroEventSerializer $ Builder)

Я попытался изменить приемник (serializer.schemaURL, удалить поле сложного типа), но это не удалось.

Я сейчас пытаюсь использовать морфий. Но это также не удается.

Есть ли лучший способ?

...