IOException: размер состояния больше, чем максимально допустимое состояние с поддержкой памяти

Question

Я сталкиваюсь со следующим исключением ввода-вывода при выполнении простого wordcount приложение поверх apache мигает в режиме кластера.

IOException: размер состояния больше максимально допустимого состояние памяти. Размер = 34521369, maxSize = 5242880. Рассмотрите возможность использования другой бэкэнд состояния, например бэкэнд состояния файловой системы.

Я уже использовал бэкэнд состояния файловой системы и настроил контрольную точку и государственные каталоги.

Как я могу исправить эту проблему?

Answer 1

Обратите внимание, что FSStateBackend немного ошибочно назван, поскольку фактически использует кучу для состояния, используя только файловую систему для контрольных точек. Если у вас большое количество состояний, вы должны рассмотреть:

• Увеличение кучи, выделенной для JVM
• Использование бэкэнда состояния RocksDB, который находится вне кучи и использует хранилище
• Распределите свою работу по дополнительным менеджерам задач на других машинах