ElasticSearch NEST: операция массовой индексации не использует указанные идентификаторы документов - PullRequest
Новая
       4

ElasticSearch NEST: операция массовой индексации не использует указанные идентификаторы документов

0 голосов
/ 25 сентября 2019

В настоящее время я использую библиотеку ElasticSearch NEST 7.x .

На виртуальной машине, в которой размещается мой главный узел ElasticSearch, я использую веб-сервер, который получает данные JSON через REST.Затем эти данные JSON должны быть сохранены в ElasticSearch.

Сначала полученные данные JSON передаются в этот метод для анализа: 

private static (bool Success, string ErrorMessage) TryReadRawJsonData(
    string rawJsonData, out IEnumerable<(string Index, ExpandoObject JsonContent)> jsonLines)
{
    var results = new List<(string Index, ExpandoObject JsonContent)>();

    foreach (string rawDataLine in HttpContext.Current.Server.UrlDecode(rawJsonData).Split('\n').Where(line => !string.IsNullOrWhiteSpace(line)))
    {
        dynamic expandoObject = JsonConvert.DeserializeObject<ExpandoObject>(rawDataLine);

        if (!Dynamic.HasProperty(expandoObject, "IndexId"))
        {
            jsonLines = Enumerable.Empty<(string, ExpandoObject)>();
            return (Success: false, ErrorMessage: $"No field named 'IndexId' found in {rawDataLine}.");
        }

        string indexId = (string)expandoObject.IndexId.ToLower();
        results.Add((indexId, JsonContent: expandoObject));
    }

    jsonLines = results;
    return (Success: true, ErrorMessage: null);
}

Если анализ успешно выполнен, впоследствии возвращается возвращаемое значениев этот метод массовой индексации: 

private static async Task<HttpResponseMessage> BulkIndexAsync(IEnumerable<(string Index, ExpandoObject JsonContent)> contents)
{
    foreach (var group in contents.GroupBy(line => line.Index))
    {
        BulkResponse bulkIndexResponse = 
            await ElasticClient.BulkAsync(bulk => bulk.Index(group.Key).IndexMany(group.Select(member => member.JsonContent)));

        if (bulkIndexResponse.Errors)
        {
            return new HttpResponseMessage(HttpStatusCode.BadRequest)
            {
                Content = new StringContent(bulkIndexResponse.ItemsWithErrors
                                                             .Select(itemWithError =>
                                                                 $"Index: {itemWithError.Index}; " +
                                                                 $"Document Id: {itemWithError.Id}; " +
                                                                 $"Error: {itemWithError.Error.Reason}.")
                                                             .ConcatenateIntoString(separator: "\n"))
            };
        }
    }
    return new HttpResponseMessage(HttpStatusCode.OK);
}

Операция массовой индексации выполнена успешно, но, к сожалению, идентификаторы документов не соответствуют ожиданиям.Вот пример: 

{
    "_index": "dummyindex",
    "_type": "_doc",
    "_id": "U1W4Z20BcmiMRnw-blTi",
    "_score": 1.0,
    "_source": {
        "IndexId": "dummyindex",
        "Id": "0c2d48bd-6842-4f15-b7f2-57fa259b0642",
        "UserId": "dummy_user_1",
        "Country": "dummy_stan"
    }
}

Как видите, поле Id имеет значение 0c2d48bd-6842-4f15-b7f2-57fa259b0642, которое, согласно документации 1019 *, должно автоматически выводиться как идентификатор документа.Однако в поле _id установлено значение U1W4Z20BcmiMRnw-blTi вместо 0c2d48bd-6842-4f15-b7f2-57fa259b0642.

Что я делаю не так?

1 Ответ

0 голосов
/ 26 сентября 2019

Ответ взят из здесь :

Id для ExpandoObject не является свойством типа, а является ключом в базовом IDictionary<string,object> что ExpandoObject поддерживается.

Это можно увидеть, отразив свойства ExpandoObject с 

dynamic expandoObject = JsonConvert.DeserializeObject<ExpandoObject>(@"{
        ""IndexId"": ""dummyindex"",
        ""Id"": ""0c2d48bd-6842-4f15-b7f2-57fa259b0642"",
        ""UserId"": ""dummy_user_1"",
        ""Country"": ""dummy_stan""
    }
");

Type t = expandoObject.GetType();
PropertyInfo[] properties = t.GetProperties(BindingFlags.Public | BindingFlags.NonPublic | BindingFlags.Instance);
foreach (PropertyInfo property in properties)
{
    Console.WriteLine(property.ToString());
}

, которые печатают 

System.Dynamic.ExpandoClass Class
System.Collections.Generic.ICollection`1[System.String] System.Collections.Generic.IDictionary<System.String,System.Object>.Keys
System.Collections.Generic.ICollection`1[System.Object] System.Collections.Generic.IDictionary<System.String,System.Object>.Values
System.Object System.Collections.Generic.IDictionary<System.String,System.Object>.Item [System.String]
Int32 System.Collections.Generic.ICollection<System.Collections.Generic.KeyValuePair<System.String,System.Object>>.Count
Boolean System.Collections.Generic.ICollection<System.Collections.Generic.KeyValuePair<System.String,System.Object>>.IsReadOnly

Чтобы решить вашу проблему, вы можете указать Id для каждого документа, передав второй аргумент делегата в .IndexMany(): 

dynamic expandoObject = JsonConvert.DeserializeObject<ExpandoObject>(@"{
        ""IndexId"": ""dummyindex"",
        ""Id"": ""0c2d48bd-6842-4f15-b7f2-57fa259b0642"",
        ""UserId"": ""dummy_user_1"",
        ""Country"": ""dummy_stan""
    }
");

var bulkResponse = client.Bulk(bu => bu
    .IndexMany(new[] { expandoObject }, (b, d) => b.Id((Id)d.Id))
);

Приведение от d.Id к Id (или может иметьбыл string, поскольку это фактический тип, но приведение к Id будет использовать неявное преобразование из строки в Id), поскольку d является динамическим типом, и среда выполнения не может выполнить его без него.

...