Flume - Перехватчик, сопоставление регулярных выражений и два селектора по умолчанию - PullRequest
0 голосов
/ 13 июня 2019

У меня есть три канала и три приемника.Я использую перехватчик потока регулярных выражений и отправляю совпадающие данные в определенный приемник, но хочу, чтобы все данные направлялись в другие два канала / приемника.Возможно, я делаю это неправильно, но мне кажется, что я могу использовать несколько каналов для «selector.default» для отправки ВСЕХ данных двум другим приемникам.(один в HDFS, а другой в S3).

Итак, ниже у меня есть данные сопоставления регулярных выражений, идущие на канал GCS.Я хочу, чтобы ВСЕ переходили на два других канала (HDFS и S3).

agent.sources.apache.interceptors.ievent.type = regex_extractor
agent.sources.apache.interceptors.ievent.regex = (product_page)
agent.sources.apache.interceptors.ievent.serializers = to_gcs
agent.sources.apache.interceptors.ievent.serializers.to_gcs.name = event_type
agent.sources.apache.selector.type = multiplexing
agent.sources.apache.selector.header = event_type
agent.sources.apache.selector.mapping.product_page = GCSChannel AvroChannel S3Channel
agent.sources.apache.selector.default = AvroChannel S3Channel

Это подход, который будет работать?"agent.sources.apache.selector.default = AvroChannel S3Channel"

...