Количество Elasti c Индекс поиска варьируется при запросах через Presto - PullRequest
Новая
       40

Количество Elasti c Индекс поиска варьируется при запросах через Presto

3 голосов
/ 23 февраля 2020

Мы используем Elassandra (Elasti c Search и Cassandra) и запрашиваем индекс поиска Elasti c с помощью presto. Когда мы получаем счетчик индекса с помощью _count API, он каждый раз корректируется, но когда мы запрашиваем индекс, чтобы узнать счетчик с помощью presto, он меняется, как показано ниже: 

select count(*) from elasticsearch.my_schema.idx

Отображение индекса показано ниже : 

{
  "idx": {
    "mappings": {
      "my_table": {
        "properties": {
          "col1": {
            "type": "keyword",
            "cql_collection": "singleton",
            "cql_partition_key": true,
            "cql_primary_key_order": 0
          },
          "col2": {
            "type": "keyword",
            "cql_collection": "singleton"
          }
        }
      }
    }
  }
}

Конфигурация Presto: 1 )asticsearch.properties 

connector.name=elasticsearch
elasticsearch.table-description-directory=etc/elasticsearch/
elasticsearch.scroll-size=1000
elasticsearch.scroll-timeout=30s
#elasticsearch.request-timeout=2s
elasticsearch.max-request-retries=10
elasticsearch.max-request-retry-time=90s
elasticsearch.max-hits=200000000

2) etc /asticsearch / table. json

{
  "tableName": "my_table",
  "schemaName": "my_schema",
  "host": "10.XXX.XXX.XXX",
  "port": "9300",
  "clusterName": "my cluster",
  "index": "idx",
  "type": "my_table",
  "columns": [
      {
          "name": "col1",
          "type": "varchar",
          "jsonPath": "col1",
          "jsonType": "keyword"
      },
      {
          "name": "col2",
          "type": "varchar",
          "jsonPath": "col2",
          "jsonType": "keyword"
      }
  ]
}

У нас есть 3 узла elassandra кластера (3 узла elasti c поисковый кластер). Осколки 3 и репликация 1 для этого конкретного индекса. Версии: 

Persto - 0.218
Elassandra - 6.2.3.21
Kibana - 6.2.3

Пожалуйста, помогите.

...