Понимание TaskManager и слота Task в среде пряжи - PullRequest
Новая
       6

Понимание TaskManager и слота Task в среде пряжи

0 голосов
/ 25 января 2019

Я новичок во Flink, и у меня нет возможности прочитать исходный код Flink, чтобы понять JobManager, TaskManager и Task Slot для исходного кода.

Я думал, что процесс TaskManager похож на процесс исполнителя Spark, а JobManager похож на процесс драйвера Spark

Но когда я смотрю на диаграмму https://learning.oreilly.com/library/view/stream-processing-with/9781491974285/assets/components.png

Похоже, моя мысль не так? Это процесс слота задач, который работает в контейнере YARN? То есть слот задач похож на процесс исполнения в Spark.

У меня нет хорошего или ясного понимания о JobManager 、 TaskManager и TaskSlot

1 Ответ

0 голосов
/ 25 января 2019

Документация Flink объясняет, как организована распределенная среда выполнения. Подводя итог, по сравнению с Spark:

  • Диспетчер задач: Spark Worker
  • Слот задач: Spark Task
  • Применение: программа Spark Driver

Что касается менеджера вакансий Флинка, то до недавнего времени (Флинк 1.6) это был монолит, играющий много ролей. Теперь, когда он был подвергнут рефакторингу, он по-прежнему отвечает за большинство проблем кластера, которые не зависят от структуры кластера, а именно: координация контрольных точек, восстановление и планирование.

См. Также ответы на этот вопрос .

...