zeppelin java.lang.OutOfMemoryError: превышен лимит накладных расходов GC

Question

Я получаю сообщение об ошибке в zeppelin org.apache.spark.SparkException: задание прервано. с описанием Причина: java.lang.OutOfMemoryError: Превышен лимит накладных расходов GC .

Мониторинг искр показал, что сборщик мусора занимал почти все время выполнения задачи:

Я начал расследование и обнаружил, что проблема не является неэффективной задачей в цеппелине,но проблема в том, как мы бежим искрой.Zeppelin предоставляет встроенную искру и способ использования внешней искры (вы можете установить SPARK_HOME в файле conf / zeppelin-env.sh или в графическом интерфейсе zeppelin).Когда я использую встроенную искру, все работает хорошо, но для внешней искры я получаю Предельное значение GC превысило исключение для той же задачи.

В чем разница между этими двумя способамиработающей искры и как я могу исправить исключение превышения лимита GC превышено?

Answer 1

Разница была в доступной памяти для водителя.Я узнал об этом по zeppelin-interpreter-spark.log: memorystore started with capacity ....Когда я использовал встроенную искру, это было 2004.6 MB для внешней искры, это было 366.3 MB.

Итак, я увеличил доступную память для драйвера, установив spark.driver.memory в графическом интерфейсе zeppelin.Это решило проблему.