Может ли Kinesis Firehose выполнять фильтрацию? - PullRequest
0 голосов
/ 15 апреля 2019

Итак, у нас есть 100 различных типов сообщений, поступающих в наш поток Kinesis. Мы хотим сохранить только 4 типа. Я знаю, что Kinesis может преобразовывать сообщения, но может ли он фильтровать ? Как это сделать?

1 Ответ

1 голос
/ 16 апреля 2019

Фильтрация - это просто преобразование, в котором вы решаете ничего не выводить. Вы указываете это, отправляя результат со значением "Dropped" согласно документации .

Вы можете найти в этом посте пример преобразования, и логика включает в себя несколько вещей: пропуск записей без какого-либо преобразования (состояние "OK"), преобразование и вывод записи (снова, статус "OK"), удаление или фильтрация записи (статус "Dropped") и сообщение об ошибке с использованием статуса "ProcessingFailed"

...