AWS Glue - Spark Job - как увеличить лимит памяти или работать более эффективно?

Question

При выполнении задания Spark (Glue) - при записи Dataframe в S3 - появляется ошибка:

Container killed by YARN for exceeding memory limits.  5.6 GB of 5.5 GB physical memory used.
Consider boosting spark.yarn.executor.memoryOverhead or 
disabling yarn.nodemanager.vmem-check-enabled because of YARN-4714.

Существует ли простое лекарство от этого?

Как записать Dataframe в S3 можно оптимизировать (использовать меньше памяти)?

Как увеличить объем памяти для контейнеров, чтобы у нас было больше места для работы?

Answer 1

Как вы, возможно, уже знаете, AWS Работа с клеем не поддерживает увеличение памяти. Но вы можете выбрать G1.X в качестве рабочего типа для работы с клеем. AWS рекомендует использовать это для интенсивной работы с памятью. https://docs.aws.amazon.com/en_us/glue/latest/dg/add-job.html

Кроме этого, я не вижу никакой опции конфигурации для увеличения памяти.

Проверяли ли вы профиль памяти метрик времени выполнения задания?