Kafka брокеры срываются в случайном интервале

Question

Мы работаем с брокерами Kafka в контейнерах с сервисом ECS AWS. Кластер состоит из 3 брокеров. Мы столкнулись с проблемой, из-за которой любой из брокеров мог случайно произойти сбой с фатальной ошибкой Java, как показано ниже.

#
# A fatal error has been detected by the Java Runtime Environment:
#
#  SIGSEGV (0xb) at pc=0x00007fef4a3baf9e, pid=1, tid=0x00007feb7feb7700
#
# JRE version: OpenJDK Runtime Environment (8.0_102-b14) (build 1.8.0_102-b14)
# Java VM: OpenJDK 64-Bit Server VM (25.102-b14 mixed mode linux-amd64 compressed oops)
# Problematic frame:
# J 9297 C2 org.apache.kafka.common.record.FileLogInputStream$FileChannelRecordBatch.compressionType()Lorg/apache/kafka/common/record/CompressionType; (10 bytes) @ 0x00007fef4a3baf9e [0x00007fef4a3b9f80+0x101e]
#
# Failed to write core dump. Core dumps have been disabled. To enable core dumping, try "ulimit -c unlimited" before starting Java again
#
# If you would like to submit a bug report, please visit:
#   http://www.azulsystems.com/support/

Здесь , здесь и здесь - это полный аварийный дамп hs_err_pid1.log. Разделить дамп на три части из-за лимита Pastebin.

Может кто-нибудь, пожалуйста, помогите мне определить проблему здесь.

Answer 1

Вы можете найти в журнале dmesg (хост-докер) и найти OutOfMemory?может быть, вам нужно установить vm.max_map_count увеличить / изменить размер вашего экземпляра?

• Настройка производительности Kafka .

• Проблема с нехваткой памяти у Kafka ?

• Настройка виртуальной памяти для контекста ElasticSearch