Apache Spark: java .lang.OutOfMemoryError: Java Проблема с пространством в куче

Question

Я сталкиваюсь с проблемой java.lang.OutOfMemoryError: Java Heap Space, когда запускаю одну и ту же искровую программу каждый второй раз.

Вот сценарий:

Когда я выполняю spark-submit и запускаю искру программа впервые, она дает мне правильный результат, и все в порядке. Когда я выполняю тот же spark-submit еще раз, возникает исключение java.lang.OutOfMemoryError: Java Heap Space.

Когда он снова работает?

Если Я запускаю тот же spark-submit после очистки кеша linux, выполнив - /proc/sys/vm/drop_caches, он снова запускается успешно за один раз.

Я попытался установить все возможные конфигурации искры, такие как memoryOverhead, drive-memory, Exeter -memory, et c.

Есть идеи, что здесь происходит? Действительно ли это проблема с искровым кодом, или это происходит из-за некоторых настроек компьютера linux или способа настройки кластера?

Спасибо.

Answer 1

В случае использования df.persist() или df.cache() вы также должны использовать метод df.unpersist(), а также sqlContext.clearCache(), который очищает все.