Стратегия планирования Flink

Question

Я знаю стратегию Flink Default Scheduler, но я хочу изменить стратегию в некоторых ситуациях. Например, интенсивное использование Io и интенсивное использование процессора, я хочу изменить стандартное значение, когда ресурс кластера имеет большую разницу в каждом узле. Так что, если яМожно ли сделать мою стратегию на основе кластерного ресурса?

Answer 1

На данный момент это не легко возможно.Тем не менее, сообщество работает над тем, чтобы сделать компонент планирования Flink подключаемым .С этим изменением станет возможным обеспечить собственную реализацию Scheduler, которая даст вам точный контроль над логикой планирования Flink.

Кроме того, сообщество также работает над включением ResourceSpecs, что позволит вам указатьтребования к ресурсам конкретного оператора.Затем Flink удостоверится в том, что он назначает оператору как минимум столько ресурсов, сколько указано.