Я приобрел несколько зарезервированных экземпляров для своих заданий EMR.Итак, я рассматриваю переход от запуска новых кластеров для каждого задания к постоянному кластеру.
Причина, по которой я хочу это сделать, заключается в том, что я хочу разделить задания по приоритету.Используя постоянный кластер, я могу легко сделать это через Yarn Fair Scheduler.
Итак, я хочу спросить, есть ли недостатки в использовании постоянного кластера?У меня есть несколько недостатков:
Сложнее получать информацию для журналов при отладке
Проблемы с обслуживанием, такие как мониторинг процессора, памяти вэкземпляров.Замените экземпляр, если он не работает.
(Дополнение: если не рекомендуется использовать постоянный кластер, каков рекомендуемый способ для отключения заданий EMR. Я думаю реализовать свой собственныйочередь на работу в моем сервисе).
Спасибо!