Как сократить время, затрачиваемое заданием glue etl (искрой), чтобы фактически начать выполнение?

Question

Я хочу запустить работу glue etl, хотя выполнение справедливо (из-за проблем со временем), однако время, необходимое клею для фактического начала выполнения задания, слишком много.

Я изучил различную документацию и ответы, но ни один из них не смог дать мне решения. Было такое объяснение этому поведению: холодный старт, но не решение.

Я ожидаю, что работа будет выполнена как можно скорее, иногда требуется около 10 минут, чтобы начать работу, которая выполняется за 2 минуты.

Answer 1

К сожалению, сейчас это невозможно. Клей использует EMR под капотом, и это требует некоторого времени, чтобы раскрутить новый кластер с желаемым количеством исполнителей. Насколько я знаю, у них есть пул запасных кластеров EMR с некоторыми наиболее распространенными конфигурациями DPU, поэтому, если вам повезет, ваша работа может получить ее и сразу же начать, иначе она будет ждать.