Rancher -> Fluentd - проблема с получением данных по Fluentd от Rancher - PullRequest
Новая
       27

Rancher -> Fluentd - проблема с получением данных по Fluentd от Rancher

0 голосов
/ 03 октября 2019

Сначала извините, если эта тема была начата раньше, но мне действительно нужна помощь.

Мне нужна помощь с анализом или с фильтрацией (я даже не уверен). Эти данные я получил от Rancher в fluentd (пример данных журнала): 2019-10-03 14:26:55 +0200 [warn]: шаблон не совпадает: "\ xC4 \ x06stream \ xC4 \ x06stdout \ xA6docker \ x81 \ xACcontainer_id\ xD9 @ f5199c2537e34613b317142e51c710be84eedc4b7f000db7c72f8804322dcdcb \ xAAkubernetes \ x89 \ xAEcontainer_name \ xD9'selenium тест-DCB-Прил форм-клиент-15мин \ xAEnamespace_name \ xA8selenium \ xA8pod_name \ xD98selenium тест-DCB-Прил форм-клиент-15мин-1570105500-xtt4n\ xA6pod_id \ xD9 $ d1e57837-e5d8-11e9-b992-020019350007 \ xA6labels \ x82 \ xAEcontroller-UID \ xD9 $ d1e023e5-e5d8-11e9-b992-020019350007 \ xA8job имя \ xD92selenium-тест-DCB-Прил форм-клиент-15min-1570105500 \ xA4host \ xAD \ xAAmaster_url \ xB9 https://:443/api\xACnamespace_id\xD9$4ac839f4-cfc9-11e9-8d1d-02006d030008\xB0namespace_labels\x82\xB1cattle_io/creator\xA6norman\xB9field_cattle_io/projectId\xA7p-wfktw\xA3tag\xD9\xCFlocal:p-wfktw.var.log.containers.selenium-test-dcb-ppe-form-client-15min-1570105500-xtt4n_selenium_selenium-test-dcb-ppe-form-client-15min-f5199c2537e34613b317142e51c710be84eedc4b7f000db7c72f8804322dcdcb.log\xA8log_type\xB4k8s_normal_container\xA9projectID\xADlocal:p-wfktw\x92\xD7\x00]\x95\xE8\xAC\x15\xD9\\xBE\x87\xC4\x03log\xC4\rentered pin \ r "

И это конфигурация моего fluentd (0,12 вер. Загружено из-за Fluentd-UI): 

  @type file
  path /var/log/log-2019-Dawid.log
</match>

<source>
  @type tcp
  bind 0.0.0.0
  port <some port>
  log_level info
  tag syslog
  format json
  #format /^(?<year>[^ ]*)  [^ ]* (?<time>[^ ]*) [^ ]* [(?<info>[^ ]*)]: [^ ] pattern not match: "(?<message>[^ ]*)"?$/
  time_format %Y-%m-%dT%H:%M:S.%NZ
  read_from_head true
</source>

<match pattern not match: "\xC4\x06stream\xC4\x06stdout\xA6docker\x81\xACcontainer_id\>
  @type null
</match>

<match pattern not match:>
  @type stdout
</match>```




And this is the config from rancher endpoint(file editing):
<match *>
  @type forward
  format json
  <server>
    name fluentd1
    host <ip to my fluentd>
    port <the same port like in fluentd conf>
    weight 100
  </server>
</match>


I know that I need to return only this last part:
local:p-wfktw.var.log.containers.selenium-test-dcb-ppe-form-client-15min-1570105500-xtt4n_selenium_selenium-test-dcb-ppe-form-client-15min-f5199c2537e34613b317142e51c710be84eedc4b7f000db7c72f8804322dcdcb.log\xA8log_type\xB4k8s_normal_container\xA9projectID\xADlocal:p-wfktw\x92\xD7\x00]\x95\xE8\xAC\x15\xD9\\\xBE\x87\xC4\x03log\xC4\rentered pin\r"
...