KSQL - объединяет неравные потоки разделов

Question

Как объединить неравное количество потоков, содержащих разделы в KSQL, кроме увеличения раздела?

Пример Stream-1 имеет 3 раздела, а Stream-2 имеет 2 раздела. В этом случае, конечно, мы можем увеличить количество разделов для Stream-1 как 3 соединения. Но я хочу знать, есть ли другой способ присоединения неравных разделенных потоков через KSQL?

Answer 1

Нет, к сожалению, KStream / KSQL не поддерживает объединение для неравных разделенных тем.

Обязательным условием является то, что обе темы должны иметь одинаковое количество разделов перед вызовом операции соединения, в противном случае произойдет сбой.

Подробнее о требованиях к разделению вы можете прочитать здесь: https://docs.confluent.io/current/ksql/docs/developer-guide/partition-data.html#partition-data-to-enable-joins

Чтобы обеспечить совместное разбиение, вы можете использовать предложение PARTITION_BY для создания нового потока:

CREATE STREAM topic_rekeyed WITH (PARTITIONS=6) AS SELECT * FROM topic PARTITION BY topic_key;