Медленный ответ на запрос Elasticsearch через консоль kibana - PullRequest
Новая
       30

Медленный ответ на запрос Elasticsearch через консоль kibana

2 голосов
/ 01 февраля 2020

Фон сервера : кластер эластичного поиска с 3 узлами + kibana + logsta sh, работающий в среде docker. хост-сервер работает под управлением rhel7.7 (2 CPU, 8 ГБ ОЗУ + 200 ГБ файлового ресурса).

Версии :

  • asticsearch 7.5.1
  • kibana 7.5.1
  • logsta sh 7.5.1
  • filebeat 7.5.1 (запускается на отдельном сервере) 
## Cluster health status
{
  "cluster_name" : "es-cluster",
  "status" : "green",
  "timed_out" : false,
  "number_of_nodes" : 3,
  "number_of_data_nodes" : 3,
  "active_primary_shards" : 116,
  "active_shards" : 232,
  "relocating_shards" : 0,
  "initializing_shards" : 0,
  "unassigned_shards" : 0,
  "delayed_unassigned_shards" : 0,
  "number_of_pending_tasks" : 0,
  "number_of_in_flight_fetch" : 0,
  "task_max_waiting_in_queue_millis" : 0,
  "active_shards_percent_as_number" : 100.0
}

## Node status
172.20.1.3 60 91 13 0.98 1.30 1.45 dilm - elasticsearch2
172.20.1.4 57 91 13 0.98 1.30 1.45 dilm - elasticsearch3
172.20.1.2 61 91 14 0.98 1.30 1.45 dilm * elasticsearch

## Host server TOP output
top - 11:37:10 up 11 days, 22:30,  3 users,  load average: 0.74, 1.29, 1.47                                    
Tasks: 210 total,   1 running, 209 sleeping,   0 stopped,   0 zombie                                           
%Cpu(s):  4.4 us,  0.8 sy,  0.0 ni, 94.8 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st                                
KiB Mem :  7999840 total,   712736 free,  5842300 used,  1444804 buff/cache                                    
KiB Swap:  3071996 total,  2794496 free,   277500 used.  1669472 avail Mem                                     

  PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND                                    
48491 vtha837   20   0 4003724 713564  23880 S   5.0  8.9   1:57.53 java                                       
59023 vtha837   20   0 6796456   1.5g 172556 S   2.7 20.3  28:18.07 java                                       
59006 vtha837   20   0 6827100   1.5g 176840 S   1.7 19.9  30:03.59 java                                       
  760 vtha837   20   0 6877220   1.5g 180752 S   0.7 19.9  24:37.88 java                           
59610 vtha837   20   0 1663436 258152   7336 S   0.3  3.2  16:51.84 node         

## Kibana environment variables I used for kibana docker image
    environment:
      SERVER_NAME: "kibana"
      SERVER_PORT: 9548
      ELASTICSEARCH_PASSWORD: ${ES_PASSWORD}
      ELASTICSEARCH_HOSTS: "http://elasticsearch:9550"
      KIBANA_DEFAULTAPPID: "dashboard/Default"
      LOGGING_QUIET: "true"
      XPACK_SECURITY_ENCRYPTIONKEY: ${KIBANA_XPACK_SEC_KEY}
      XPACK_SECURITY_SESSIONTIMEOUT: 600000

Проблема : A. Когда я выполняю запросыasticsearch через консоль kibana, по крайней мере, требуется 20000 мс возврат вывода на консоль. Но если я запускаю тот же самый запрос напрямую (asticsearch) через curl или почтальон или chrome, то для получения результата B. требуется всего менее 200 мс , даже если это происходит при загрузке панели управления kibana (не все время), получите следующее сообщение об ошибке и не загружая некоторые графики. но я не вижу никаких исключений или ошибок из журналов консоли 

Error in visualization

[esaggs] > Request to Elasticsearch failed: {"error":{}}

Если я обновлю sh страницу, я смогу увидеть все графики.

Chrome профиль производительности, непосредственно попадающий в запрос Flexiblesearch URL: http://testnode.mycompany.com.nz:9550/_cat/indices screenshot

Chrome профиль производительности через kibana dev consoletoosearch query Запрос: GET /_cat/indices screenshot

Что я не понимаю, если я запускаю тот же файл docker compose на моем ноутбуке (windoes 10, 16GB , i7 2cpu, docker рабочий стол запущен) Я не сталкиваюсь ни с какой медлительностью ни с kibana dev console console, ни с прямым запросомasticseach.

У кого-нибудь возникла эта проблема и спасибо, дайте мне знать, как это исправить?

Заранее спасибо.

1 Ответ

0 голосов
/ 08 марта 2020

Проблема в обнаружении службы docker. По какой-то причине docker обнаружение службы не произошло. как только я изменю хост эластичного поиска на IP, получу реальную производительность.

В docker -композит Предыдущая конфигурация кибана 

ELASTICSEARCH_HOSTS: "http://elasticsearch:9550"

Новая конфигурация 

ELASTICSEARCH_HOSTS: "http://172.20.1.2:9550"

подробности см. На странице обсуждения эластичного поиска

...