Хочу прояснить большую картину про клей AWS - PullRequest
Новая
       12

Хочу прояснить большую картину про клей AWS

0 голосов
/ 28 марта 2019

Я хочу прояснить общую картину о клеях AWS в отношении некоторых из следующих аспектов.

  1. Как AWS Glue готовит и обеспечивает свою инфраструктуру? Однако это без сервера, но как это управляет?

  2. Как он использует Apache Spark и Hadoop для одновременного решения большого количества заданий ETL. Почти сотни заданий клиентов AWS Glue из каждого региона.

Спасибо

1 Ответ

1 голос
/ 29 марта 2019

AWS Glue использует EMR снизу. Он запускает новый кластер с необходимым количеством исполнителей (в зависимости от настроенного DPU) при запуске нового задания. Однако для улучшения времени холодного запуска у них есть буфер уже подготовленных кластеров EMR для наиболее распространенного числа DPU. Для управления всем этим у них есть набор автоматизированных сервисов, которые отслеживают состояние каждого кластера, запускают новые и т. Д.

...