Переиндексировать часть индекса Elasticsearch на новый индекс с помощью Jest - PullRequest
Новая
       8

Переиндексировать часть индекса Elasticsearch на новый индекс с помощью Jest

0 голосов
/ 28 июня 2018

У меня есть тестовый индекс ElasticSearch 6.0, заполненный миллионами записей, который, вероятно, исчисляется миллиардами в производстве. Мне нужно найти подмножество этих записей, а затем сохранить это подмножество исходного набора во вторичный индекс для последующего поиска. Я доказал это с помощью запросов к ES на Kibana, задача состоит в том, чтобы найти соответствующие API в Java 8, используя мой Jest-клиент (searchbox.io, версия 5.3.3), чтобы сделать то же самое. Кластер ElasticSearch работает на AWS, поэтому использование транспортного клиента не поддерживается. 

POST _reindex?slices=10&wait_for_completion=false
{ "conflicts": "proceed",
  "source":{
    "index": "my_source_idx",
    "size": 5000,
    "query": { "bool": {
      "filter": { "bool" : { "must" : [
        { "nested": { "path": "test", "query": { "bool": { "must":[
           { "terms" : { "test.RowKey": ["abc"]} },
           { "range" : { "test.dates" : { "lte": "2018-01-01", "gte": "2010-08-01"} } },
           { "range" : { "test.DatesCount" : { "gte": 2} } },
           { "script" : { "script" : { "id": "my_painless_script", 
              "params" : {"min_occurs" : 1, "dateField": "test.dates", "RowKey": ["abc"], "fromDate": "2010-08-01", "toDate": "2018-01-01"}}}}
        ]}}}}
      ]}}
    }}
  },
  "dest": {
    "index": "my_dest_idx"
  },
  "script": {
    "source": <My painless script>
  } }

Мне известно, что я могу выполнить поиск по исходному индексу, затем создать и массово загрузить записи ответов в новый индекс, но я хочу быть в состоянии сделать все это за один раз, поскольку у меня есть безболезненный сценарий собрать некоторую информацию, относящуюся к запросам, которые будут искать вторичный индекс. Производительность является проблемой, так как приложение будет связывать последующие запросы вместе, используя целевой индекс для запроса. Кто-нибудь знает, как сделать это с помощью Jest?

1 Ответ

0 голосов
/ 06 июля 2018

Похоже, что эта конкретная функциональность еще не поддерживается в Jest. Jest API У него есть способ передать скрипт (не запрос) в качестве параметра, но у меня даже были проблемы с этим.

EDIT:

После некоторого взлома с коллегой, мы нашли способ обойти это ...

Шаг 1) Расширение класса GenericResultAbstractionAction с изменениями в сценарии: 

public class GenericResultReindexActionHack extends GenericResultAbstractAction {
    GenericResultReindexActionHack(GenericResultReindexActionHack.Builder builder) {
        super(builder);

        Map<String, Object> payload = new HashMap<>();
        payload.put("source", builder.source);
    payload.put("dest", builder.dest);
    if (builder.conflicts != null) {
        payload.put("conflicts", builder.conflicts);
    }
    if (builder.size != null) {
        payload.put("size", builder.size);
    }
    if (builder.script != null) {
        Script script = (Script) builder.script;

// Обратите внимание, что параметр сценария должен быть отформатирован по-разному, чтобы соответствовать API ES _reindex: 

        payload.put("script", new Gson().toJson(ImmutableMap.of("id", script.getIdOrCode(), "params", script.getParams())));
    }
    this.payload = ImmutableMap.copyOf(payload);

    setURI(buildURI());
}

@Override
protected String buildURI() {
    return super.buildURI() + "/_reindex";
}

@Override
public String getRestMethodName() {
    return "POST";
}

@Override
public String getData(Gson gson) {
    if (payload == null) {
        return null;
    } else if (payload instanceof String) {
        return (String) payload;
    } else {

// Нам нужно удалить неправильное форматирование для полей запроса, dest и скрипта: 

        // TODO: Need to consider spaces in the JSON
        return gson.toJson(payload).replaceAll("\\\\n", "")
                        .replace("\\", "")
                        .replace("query\":\"", "query\":")
                        .replace("\"},\"dest\"", "},\"dest\"")
                        .replaceAll("\"script\":\"","\"script\":")
                .replaceAll("\"}","}")
                .replaceAll("},\"script\"","\"},\"script\"");

    }
}

public static class Builder extends GenericResultAbstractAction.Builder<GenericResultReindexActionHack , GenericResultReindexActionHack.Builder> {

    private Object source;
    private Object dest;
    private String conflicts;
    private Long size;
    private Object script;

    public Builder(Object source, Object dest) {
        this.source = source;
        this.dest = dest;
    }

    public GenericResultReindexActionHack.Builder conflicts(String conflicts) {
        this.conflicts = conflicts;
        return this;
    }

    public GenericResultReindexActionHack.Builder size(Long size) {
        this.size = size;
        return this;
    }

    public GenericResultReindexActionHack.Builder script(Object script) {
        this.script = script;
        return this;
    }

    public GenericResultReindexActionHack.Builder waitForCompletion(boolean waitForCompletion) {
        return setParameter("wait_for_completion", waitForCompletion);
    }

    public GenericResultReindexActionHack.Builder waitForActiveShards(int waitForActiveShards) {
        return setParameter("wait_for_active_shards", waitForActiveShards);
    }

    public GenericResultReindexActionHack.Builder timeout(long timeout) {
        return setParameter("timeout", timeout);
    }

    public GenericResultReindexActionHack.Builder requestsPerSecond(double requestsPerSecond) {
        return setParameter("requests_per_second", requestsPerSecond);
    }

    public GenericResultReindexActionHack build() {
        return new GenericResultReindexActionHack(this);
    }
}

}

Шаг 2) Использование этого класса с запросом требует, чтобы вы передали запрос как часть источника, а затем удалили символы '\ n': 

ImmutableMap<String, Object> sourceMap = ImmutableMap.of("index", sourceIndex, "query", qb.toString().replaceAll("\\\\n", ""));
        ImmutableMap<String, Object> destMap = ImmutableMap.of("index", destIndex);

GenericResultReindexActionHack reindex = new GenericResultReindexActionHack.Builder(sourceMap, destMap)
                .waitForCompletion(false)
                .conflicts("proceed")
                .size(5000L)
                .script(reindexScript)
                .setParameter("slices", 10)
                .build();

        JestResult result = handleResult(reindex);
        String task = result.getJsonString();
        return (task);

Обратите внимание, что параметр reindexScript имеет тип org.elasticsearch.script.

Это грязный, хакерский способ обойти ограничения Jest, но, похоже, он работает. Я понимаю, что при таком способе могут быть некоторые ограничения на то, что может быть приемлемо при форматировании ввода ...

...