Мой сервер Druid работает на одном сервере, и я загружаю 30 миллионов записей в один источник данных от Kafka. Имеется 16 ГБ ОЗУ и 100 ГБ подкачки. Java Размер кучи памяти составляет 15,62 ГБ.
Друид также содержит другой источник данных с записями 2,6 МБ, и этот супервизор приостановлен.
Теперь есть 4.5M записей успешно сохранены, но когда количество записей увеличивается до 6M, возникает проблема статистики: «Невозможно повторно подключиться к службе Zookeeper, истекло время сеанса, получено», а затем данные сбрасываются до 4.5M и восстанавливаются, и снова тот же процесс, повторенный с записями, переходит на некоторое время вверх точка, как 6,2M, а затем произошла та же ошибка, и данные упали до 4,5M затем через 4-5 часов служба Druid перезапускается, и запись в источник данных начинается с 4.5M.
Степень детализации сегмента установлена в ЧАС.
Ниже приведена статистика использования памяти в системе
total used free shared buff/cache available
Mem: 15G 15G 165M 36K 160M 83M
Swap: 99G 45G 54G
Что я должен сделать? Это проблема памяти?