Фильтрация записей по определенному значению в kafka connect

Question

Я пытался найти способ включить фильтр, который отбрасывает записи с определенным значением, в разъем sql источника дебезия. Допустим, у меня есть JSON: {"id": 0, "name": "muj"}, и я хочу отбросить все записи, которые имеют значение поля "name", как "muj". Есть ли способ сделать это без использования сливной платформы?

Answer 1

Есть ли способ сделать это без необходимости использовать платформу Confluent

Confluent не является специальной версией Kafka. Все их инструменты будут работать с вашей собственной установкой Kafka.

Вы можете использовать k sql или Kafka Streams по отдельности, но IMO, Debezium не должен ничего фильтровать, он предназначен для чтения необработанных событий CD C. Любая такая фильтрация должна выполняться внизу в вашей логике обработки c

Answer 2

Вы можете использовать функцию filter преобразований Kafka Connect. Функция фильтра позволяет включать или исключать записи, которые соответствуют предикату. Пожалуйста, см. transforms / filter документацию и примеры.