Один источник намного медленнее другого, когда объединяются данные истории во Flink.

Question

При использовании исторических данных в операторе соединения с eventTime чтение данных из одного источника происходит намного медленнее, чем из другого.В результате оператор соединения будет кэшировать много данных из более быстрого источника, чтобы ждать более медленного источника.

Вопрос в том, как я могу уменьшить разницу в скорости потребителей?

Answer 1

Я не уверен, что понимаю, что вы подразумеваете под «... уменьшать разницу в скорости потребителей».Если вы хотите избежать кэширования большого количества данных и не можете контролировать скорость источника, тогда я думаю, что ваш единственный вариант - использовать меньшее окно, чтобы кэшировать меньше данных.См. Window Join для более подробной информации об этом.