Планирование задач Flink для операторов с огромным состоянием

Question

Давайте предположим, что у нас есть один или несколько операторов, подключенных к потоку с ключами, и где мы ожидаем множество ключей и значительное разделенное состояние (с точки зрения размера) на ключ.

Возможно ли повлиятьна каких менеджерах задач Flink будет планировать каждый из этих экземпляров операторов?При настройке с n менеджерами задач и m экземплярами операторов наихудший случай будет состоять в том, что несколько (если не все) из этих m экземпляров окажутся только на нескольких из n менеджеров задач, что приведет к исчерпанию доступных ресурсов.

Answer 1

В данный момент Flink одинаково обрабатывает все Task и Slot.Это означает, что каждый Task должен быть развернут в каждом Slot.Это не только значительно упрощает логику планирования, но также предотвращает попадание пользователя в ногу путем указания неудовлетворительных ограничений планирования.Стоимость заключается в том, что пользователь не может контролировать способ развертывания Tasks в наборе доступных слотов и TaskManagers.

. В настоящее время сообщество работает над улучшением возможностей планирования Flink, сделав планировщик Flink подключаемым .С этим изменением мы намереваемся обеспечить больший контроль над тем, как Flink развертывает Tasks.