У него есть сообщение Кафки "Слишком много открытых файлов".Я только что перезапустил очистку, но примерно через 10 минут я получаю
lsof | grep cp-kafka | wc -l:
454225
ограничения процесса:
Limit Soft Limit Hard Limit Units
Max cpu time unlimited unlimited seconds
Max file size unlimited unlimited bytes
Max data size unlimited unlimited bytes
Max stack size 8388608 unlimited bytes
Max core file size 0 unlimited bytes
Max resident set unlimited unlimited bytes
Max processes 96186 96186 processes
Max open files 800000 800000 files
Max locked memory 16777216 16777216 bytes
Max address space unlimited unlimited bytes
Max file locks unlimited unlimited locks
Max pending signals 96186 96186 signals
Max msgqueue size 819200 819200 bytes
Max nice priority 0 0
Max realtime priority 0 0
Max realtime timeout unlimited unlimited us
Я установил retention.hours на -1, как хочусохранить все журналы из прошлого.В моем server.properties у меня были сегментированные файлы по 100 МБ, но по какой-то причине Кафка делает 10 МБ журналов.Странно то, что у меня «только» относительно небольшое количество файлов в каталоге журналов.
find | wc -l
5884
Я не понимаю, что я делаю здесь неправильно.
Я установилdeb-пакеты confluent-kafka в Ubuntu 18.04.
- kafka 2.0
- сообщения имеют размер около 500 байт каждое
- автоматически создаваемая тема - true
Один каталог, мои сообщения слишком малы для индекса времени?
rw-r--r-- 1 2.2K Sep 30 10:03 00000000000000000000.index
rw-r--r-- 1 1.2M Sep 30 10:03 00000000000000000000.log
rw-r--r-- 1 3.3K Sep 30 10:03 00000000000000000000.timeindex
rw-r--r-- 1 560 Sep 30 10:03 00000000000000004308.index
rw-r--r-- 1 293K Sep 30 10:03 00000000000000004308.log
rw-r--r-- 1 10 Sep 30 10:03 00000000000000004308.snapshot
rw-r--r-- 1 840 Sep 30 10:03 00000000000000004308.timeindex
rw-r--r-- 1 10M Sep 30 10:03 00000000000000005502.index
rw-r--r-- 1 97K Sep 30 10:04 00000000000000005502.log
rw-r--r-- 1 10 Sep 30 10:03 00000000000000005502.snapshot
rw-r--r-- 1 10M Sep 30 10:03 00000000000000005502.timeindex
Также добавлены следующие строки в конфигурации сервера;индекс остается 10 МБ макс.
log.segment.bytes=1073741824
log.segment.index.bytes=1073741824
Кстати, я отправляю сообщения с отметками времени в прошлом, с сохранением журнала 1000 лет.