NEST - поиск низкого уровня не возвращает дату - PullRequest
Новая
       56

NEST - поиск низкого уровня не возвращает дату

0 голосов
/ 07 мая 2020

У меня есть консольное приложение C#, в котором я использую NEST для индексации данных и поиска в ElasticSearch.

Версии:

  • ElasticSearch 7.5.2
  • . NET 4.7.2
  • NEST 7.6.1

Когда я использую NEST для поиска, все в порядке. Но в некоторых особых случаях я хотел бы использовать поиск низкого уровня NEST (потому что я могу использовать команду sql). Но при низкоуровневом поиске отметка времени не получается. Вот пример кода: 

class EsObject
{
    public int Id { get; set; }
    public string Name { get; set; }
    public DateTime Timestamp { get; set; }

    public override string ToString()
    {
        return $"Id = {Id}, Name = {Name}, Timestamp = {Timestamp.ToString("dd.MM.yyyy HH:mm:ss")}";
    }
}

class Program
{
    static void Main(string[] args)
    {
        var indexName = "es_objects";
        //
        // Create data objects
        //
        var obj = new EsObject()
        {
            Id = 1,
            Name = "Object_1",
            Timestamp = new DateTime(2020, 2, 12, 4, 55, 19)
        };
        Console.WriteLine($"Object created {obj}");

        //
        // Connect to ElasticSearch
        //
        Console.Write("Connecting to ElasticSearch... ");
        var node = new Uri("http://localhost:9200");
        var settings = new ConnectionSettings(node)
            .DefaultIndex(indexName)
            .DefaultMappingFor<EsObject>(x => x.IdProperty("Id"))
            .DefaultFieldNameInferrer(s => s.ToLower()); ;

        var esClient = new ElasticClient(settings);
        Console.WriteLine("done");

        //
        // Index data
        //
        Console.Write("Indexing data... ");
        var idxResp = esClient.IndexDocument(obj);
        Console.WriteLine("done");

        //
        // Searching using NEST
        //
        Console.Write("Searching data using NEST ... ");
        var result = esClient.Search<EsObject>(s => s
                        .Query(q => q
                            .Match(m => m
                                .Field(f => f.Name)
                                    .Query(obj.Name))))
                        .Documents
                        .ToList();

        Console.WriteLine("done");
        Console.WriteLine($"Results: found {result.Count} items");
        if (result.Count > 0)
            Console.WriteLine($"Found item: {result[0]}");

        //
        // Searching using SQL
        //
        Console.Write("Searching data using low level ... ");
        var request = new TranslateSqlRequest
        {
            Query = $"select * from {indexName} where name='{obj.Name}'"
        };

        var sqlResponse = esClient.LowLevel.Sql.Translate<StringResponse>(PostData.Serializable(request));
        var resp = esClient.LowLevel.Search<SearchResponse<EsObject>>(indexName, sqlResponse.Body).Documents.ToList();
        Console.WriteLine("done");
        Console.WriteLine($"Results: found {resp.Count} items");
        if (resp.Count > 0)
            Console.WriteLine($"Found item: {resp[0]}");

        Console.ReadKey();
    }
}

Когда я запускаю программу, я получаю следующие результаты: 

Object created Id = 1, Name = Object_1, Timestamp = 12.02.2020 04:55:19
Connecting to ElasticSearch... done
Indexing data... done
Searching data using NEST ... done
Results: found 1 items
Found item: Id = 1, Name = Object_1, Timestamp = 12.02.2020 04:55:19
Searching data using low level ... done
Results: found 1 items
Found item: Id = 1, Name = Object_1, Timestamp = 01.01.0001 00:00:00

Есть идеи, как получить правильное значение даты при использовании низкоуровневого поиска?

1 Ответ

1 голос
/ 07 мая 2020

Запрос, сгенерированный API SQL Translate, выглядит так: 

{
  "size" : 1000,
  "query" : {
    "term" : {
      "name.keyword" : {
        "value" : "Object_1",
        "boost" : 1.0
      }
    }
  },
  "_source" : {
    "includes" : [
      "name"
    ],
    "excludes" : [ ]
  },
  "docvalue_fields" : [
    {
      "field" : "id"
    },
    {
      "field" : "timestamp",
      "format" : "epoch_millis"
    }
  ],
  "sort" : [
    {
      "_doc" : {
        "order" : "asc"
      }
    }
  ]
}

Важно отметить, что фильтрация источника выполняется для возврата только поля name в документе _source с id и timestamp возвращается из docvalue_fields. Чтобы получить их из ответа на поиск, вам нужно будет извлечь их из fields для каждого попадания 

var resp = client.LowLevel.Search<SearchResponse<EsObject>>(indexName, sqlResponse.Body);

var documents = resp.Hits
    .Select(h => {
        h.Source.Id = h.Fields.ValueOf<EsObject, int>(f => f.Id);   
        h.Source.Timestamp = DateTimeOffset.FromUnixTimeMilliseconds(long.Parse(h.Fields.Value<string>("timestamp"))).DateTime;
        return h.Source;
    })
    .ToList();

для справки, вот ответ на поиск JSON

{
  "took" : 0,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 1,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [
      {
        "_index" : "es_objects",
        "_type" : "_doc",
        "_id" : "1",
        "_score" : null,
        "_source" : {
          "name" : "Object_1"
        },
        "fields" : {
          "id" : [
            1
          ],
          "timestamp" : [
            "1581483319000"
          ]
        },
        "sort" : [
          0
        ]
      }
    ]
  }
}

поисковый запрос, который сделает то, что вы хотите 

var resp = client.Search<EsObject>(s => s
    .Query(q => q
        .Term(f => f.Name.Suffix("keyword"), obj.Name)
    )
    .Sort(s => s.Ascending(SortSpecialField.DocumentIndexOrder))
);

var documents = resp.Documents.ToList();
...