Контейнеры Tez работают внутри контейнеров YARN или вместо контейнеров YARN?

Question

Я использую Hive + Tez на EMR, и мне хотелось бы немного прояснить, как Tez взаимодействует с YARN.

Я прочитал в эту статью :

Установите tez.am.resource.memory.mb таким же, как yarn.scheduler.minimum-alloc- mb (минимальный размер контейнера YARN)

Установите hive.tez.container.size равным или небольшому (в 1 или 2 раза) размеру контейнера YARN yarn.scheduler.minimum-alloc- мб, но НИКОГДА больше, чем yarn.scheduler.maximum-selection-mb. Вы хотите иметь запас для вращения нескольких контейнеров.

Похоже, что контейнеры Tez настроены отдельно от контейнеров YARN. Это правда? Из общей документации кажется, что Tez является заменой контейнеров YARN, что означает, что вы устанавливаете размер контейнера Tez и можете игнорировать исходный размер контейнера YARN.

Вкратце: контейнеры Tez работают внутри контейнеров YARN, или контейнеры Tez запускают вместо контейнеров YARN?

Answer 1

тез-сайт. xml отдельный, да. Потому что без этого Тез не знал бы, как бежать самостоятельно.

Tez - это скорее замена mapreduce, а не YARN

Если вы запустите задание Tez, оно появится в пользовательском интерфейсе YARN.

Таким образом, контейнер Tez (часть задач) выделяется в задании YARN Tez (для запуска коллекции контейнеров YARN, состоящей из контейнеров Tez)