Друид кластер с 2 узлами, 1 узлом со службой брокера и другим узлом, выполняющим оставшиеся 4 службы друида (координатор, перегрузка, история, MiddleManager). Тип машины EC2 - t2.xlarge.
Моя цель ввода данных в Druid - 150 миллионов записей в 1 источнике данных, чтобы проверить способность Druid по потреблению реагировать в течение секунд.
Задача
Я загрузил 10M записей в источник данных Druids. После этого теста я столкнулся с Java.io.IOException: на устройстве не осталось свободного места из-за служб менеджеров среднего звена. Кто-нибудь может подсказать мне подходящие конфигурации для загрузки данных в этот огромный кусок.
Я испробовал следующие варианты в качестве стратегии Hit & Try:
- Увеличенная память JVM менеджера среднего звена и исторических служб
- Увеличен размер буфера исторического узла до 300 ГБ
- Перезагрузите компьютер EC2 и перезапустите запущенные службы
