Свободно и Кибана - PullRequest
Новая
       93

Свободно и Кибана

0 голосов
/ 10 октября 2018

Конфигурация Fluentd на стороне клиента

тип хвостового тега underutilized.log путь /var/log/utilization/monthly_summary.log формат / ^, HOST, (? [^,] +), DATE, (? [^,] +), STREAK, (? [^,] +), CPU_DAY_UTIL, (? [^,] +) $ / Pos_file /var/spool/fluentd/underutilized.log.position.txt

тип copy

тип пути к файлу /var/log/fluentd/underutilized.log compress gzip

тип forward buffer_path / var / spool / fluentd / underutilized.* .buffer file_type file flush_interval 30 с send_timeout 30 с 

heartbeat_type tcp
heartbeat_interval 10m
<server>
  name dstsrvr01
  host dstsrvr01.abc.com
  port 24224
</server>

[user1 @ srvr05 ~] $ tail -3 /var/log/utilization/monthly_summary.log, HOST, srvr05, DATE, 2018-10-10, STREAK, 123, CPU_DAY_UTIL, 0%, HOST, srvr05, DATE, 2018-10-11, STREAK, 124, CPU_DAY_UTIL, 0%, HOST, srvr05, DATE, 2018-10-12, STREAK, 125, CPU_DAY_UTIL, 0%

Конечный сервер dstsrvr01 Конфигурация Kibana

в /etc/td-agent/td-agent.conf

typeasticsearch logstash_format true flush_interval 5s logstash_prefixнедоиспользуемый

Мы можем увидеть сгенерированные индексы, если запустим curl в dstsrvr01 curl 'localhost: 9200 / _cat / indices? v' |недоиспользуемый grep желтый открытый недоиспользованный-2018.09.02 S9PURAzIT2-SSo6QuIPH_Q 5 1 1554 0 390,9kb 390,9kb желтый открытый недоиспользованный-2018.08.29 itVOHT7_Qg6B-RNSAY40Bw 5 1 1563 0 404,7kb 0,60jj0,06j0 064-й юр.138.5kb 138.5kb желтый открытый недоиспользованный-2018.07.09 7GljpUOQQByol0gv-C5ZSg 5 1 2043 0 463.8kb 463.8kb

Мы отображаем эти данные через Кибану. Мы привязаны к значению STREAK, которое мы хотимбыть в целочисленном формате.Но здесь он находится в формате STRING по умолчанию и не может применять числовой фильтр (например, STREAK> 40). Имеется ли любая опция для преобразования определенного поля в целое число .

Версия клиента: fluentd-0.10.31-1.el5 Версия сервера: td-agent-2.3.6-0.el7.x86_64 kibana-5.6.9-1.x86_64asticsearch-5.6.9-1.noarch

...