Количество документов Elasticsearch не отражает более высокую скорость индексации - PullRequest
Новая
       21

Количество документов Elasticsearch не отражает более высокую скорость индексации

0 голосов
/ 16 октября 2019

Когда мы отслеживаем состояние нашего кластера эластичного поиска через кибану, для определенного индекса мы видим очень высокую скорость индексации. Но кажется, что количество документов не увеличивается пропорционально. Как справиться с этими двумя.

document count

indexing rate

образец документа

{"_index": "finance_report_fgl_reporting_log", "_type": "fgl_reporting_logs", "_id": "1907688_POINTS_ACCOUNT_DEBIT", "_score": 9.445704, "_source": {"reportsLogId_d_источности_исследования_исследования_исследования_исследования): {" reportsLogId_d_d_d_s_d_d_d_s_d_d_s_d_0_0_0_0_0_0_0_0_0_0_0_0_0_0_0_0_0_0_0_0_1: "POINTS_ACCOUNT", "postingAccountingEntry": "DEBIT"}, "journalId": 1907688, "journalEventId": "trip_completed", "journalEventLogId": "15db1f2b-b9d0-4edd-96f0-c_d_setup_com_setup_com_setup_setup_setup_setup_setup_setup_1"," journalReferenceId ":" 174558200 "," journalGrossAmount ": 154.11," postingJournalId ": 1907688," postingAccountingRuleId ":" trip_completed_points_payment_rule "," postingReferenceId ":" 174558200 "," Posting ""2019_08", "postingAccountingEntry": "DEBIT", "postingCurrencyTypeId": "POINTS", "postingAmount": 154.11, "accountId": "POINTS_ACCOUNT", "accountStakeholderId": "ОПЕРАТОР "," accountCurrencyTypeId ":" POINTS "," accountTypeId ":" CONTROLLER "," accountingRuleId ":" trip_completed_points_payment_rule "," accountingRuleDescription ":" Оплата баллов "," eventId ":" trip_comple "P "," trip_completed "," trip_completedP ",".trip.id "," creatDate ":" 2019-08-29T10: 03: 32.000 + 0530 ", "ifiedDate": "2019-08-29T10: 03: 32.000 + 0530", "createBy": "ENGINE","ifiedBy »:« ENGINE »,« version »:« 3.12.6 »,« createYear »: 2019,« routingKey »:« _2019 »}},

Ответы [ 2 ]

0 голосов
/ 16 октября 2019

Вы можете получить некоторую информацию при выполнении GET _cat/indices?v, посмотрите столбец "docs.deleted", так как операция обновления - это просто операция "создать новый + удалить старый".

0 голосов
/ 16 октября 2019

Причина, по которой это обычно происходит, заключается в том, что ваши операции индексации не создают новые документы, а обновляют существующие. Главным образом потому, что вы отправляете обновления для уже существующего идентификатора.

Каждые несколько часов создается новый пакет документов (в соответствии с переходами на графиках), поскольку вы создаете новый набор идентификаторов. .

Обязательно проверьте, как вы создаете свои идентификаторы, поскольку решение где-то там спрятано.

...