Происходит ли перераспределение данных при смене ключей в Kafka Streams, но при переходе к новой теме? - PullRequest
0 голосов
/ 14 ноября 2018

Я читаю документы Filebeat Json по центральной теме.

Фильтрация на основе источника / пути к файлу

flatMap поле сообщения, которое является закодированным Json, и сериализация его в Json иизвлечение ключа (да, я знаю, что потенциально у меня могут быть исключения json-декодирования здесь, я выведу для этого пустую запись).

Нажмите для перехода к новой теме.


Если сообщение проанализированоправильно, и я получил ключ и вывел его в новую тему, это приведет к перераспределению?

В основном я делаю "перемещение / копирование" без сохранения состояния в отдельную тему.

1 Ответ

0 голосов
/ 14 ноября 2018

Если вы используете selectKey(...) и публикуете результат KStream, он не перераспределяет поток.

Это может привести к внутреннему перераспределению данных, если к результату KStream применяется оператор на основе ключа (например, агрегация или объединение).

...