Я запускаю filebeat на машине, передающей данные объемом 2 ГБ. Во время потоковой передачи размер буфера машины медленно увеличивается до 100-2000 МБ (заполняя всю память).
ubuntu@ip-xx-31-xx-09:~$ free -m
total used free shared buff/cache available
Mem: 3943 176 2163 0 1603 3552
Swap: 0 0 0
filebeat.yml
filebeat.inputs:
- type: log
tags: ["gunicorn"]
paths:
- "/home/ubuntu/data/gunicorn.log"
- type: log
tags: ["apache"]
paths:
- "/home/ubuntu/data/access.log"
queue.mem:
events: 8000
flush.min_events: 512
flush.timeout: 2s
output.logstash:
hosts: ["xxx.xx.xxx.86:5044"]