Не удалось создать снимок ElasticSearch, поскольку истекло время ожидания - PullRequest
Новая
       7

Не удалось создать снимок ElasticSearch, поскольку истекло время ожидания

0 голосов
/ 06 февраля 2019

У меня есть хранилище S3 для снимка ElasticSearch.Я недавно обновил хранилище, чтобы указать на новую корзину S3.

Вот запрос PUT, который я выполнил: 

PUT /_snapshot/my_repository-na/
{
    "type": "s3",
    "settings": {
      "bucket": "na-snapshots-v2",
      "base_path": "my_repository-na",
      "storage_class": "standard_ia"
    }
}'

Но не удается создать первый снимок для этого нового сегмента.Вот журналы, которые я получаю от главных узлов: 

[2019-02-05T07:28:43,118][INFO ][o.e.r.RepositoriesService] update repository [my_repository-na]
[2019-02-05T07:29:24,743][INFO ][c.a.p.s.SnapshotterComponent]No snapshot exists for 2019-02-04t09:00:00.000z_0 in repository my_repository-na, will attempt to create it
[2019-02-05T07:29:25,409][INFO ][o.e.s.SnapshotsService ] snapshot [my_repository-na:2019-02-04t09:00:00.000z_0/e2_XqdNaTy2dABIydgOvYQ] started
[2019-02-05T08:29:34,974][ERROR][c.a.p.s.SnapshotterComponent] Failed to create snapshot for 2019-02-04t09:00:00.000z_0 in repository my_repository-na because it timed-out
[2019-02-05T08:29:46,957][INFO ][o.e.s.SnapshotsService ] snapshot [my_repository-na:2019-02-04t09:00:00.000z_0/e2_XqdNaTy2dABIydgOvYQ] completed with state [PARTIAL] 

[2019-02-05T11:21:06,108][INFO ][c.a.p.s.SnapshotterComponent] Successfully deleted snapshot 2019-02-04t09:00:00.000z_0 from repository my_repository-na
[2019-02-05T11:31:06,379][INFO ][c.a.p.s.SnapshotterComponent] No snapshot exists for 2019-02-05t09:00:00.000z_1 in repository my_repository-na, will attempt to create it
[2019-02-05T11:31:06,904][INFO ][o.e.s.SnapshotsService ] snapshot [my_repository-na:2019-02-05t09:00:00.000z_1/EqrQK9DpTieQ6DQKYCcJ4g] started

[2019-02-05T12:31:26,215][ERROR][c.a.p.s.SnapshotterComponent] Failed to create snapshot for 2019-02-05t09:00:00.000z_1 in repository my_repository-na because it timed-out
[2019-02-05T12:31:37,925][INFO ][o.e.s.SnapshotsService ] snapshot [my_repository-na:2019-02-05t09:00:00.000z_1/EqrQK9DpTieQ6DQKYCcJ4g] completed with state [PARTIAL]

Как вы можете видеть из журналов выше, он удаляет первый частично снятый снимок и создает новый снимок, который также не выполняется по той же причине.Если вы посмотрите на метки времени выше, то время ожидания истекает ровно через час.

Вот трассировка стека, которую я нашел в узлах данных: 

failed to create snapshot
org.elasticsearch.index.snapshots.IndexShardSnapshotFailedException: Aborted
        at org.elasticsearch.repositories.blobstore.BlobStoreRepository$SnapshotContext$AbortableInputStream.checkAborted(BlobStoreRepository.java:1339) ~[elasticsearch-6.1.1.jar:6.1.1]
        at org.elasticsearch.repositories.blobstore.BlobStoreRepository$SnapshotContext$AbortableInputStream.read(BlobStoreRepository.java:1332) ~[elasticsearch-6.1.1.jar:6.1.1]
        at com.amazonaws.internal.SdkFilterInputStream.read(SdkFilterInputStream.java:82) ~[?:?]
        at com.amazonaws.internal.SdkFilterInputStream.read(SdkFilterInputStream.java:82) ~[?:?]
        at com.amazonaws.services.s3.internal.InputSubstream.read(InputSubstream.java:95) ~[?:?]
        at com.amazonaws.internal.SdkFilterInputStream.read(SdkFilterInputStream.java:82) ~[?:?]
        at com.amazonaws.services.s3.internal.MD5DigestCalculatingInputStream.read(MD5DigestCalculatingInputStream.java:128) ~[?:?]
        at com.amazonaws.internal.SdkFilterInputStream.read(SdkFilterInputStream.java:82) ~[?:?]
        at com.amazonaws.event.ProgressInputStream.read(ProgressInputStream.java:180) ~[?:?]
        at com.amazonaws.internal.SdkFilterInputStream.read(SdkFilterInputStream.java:82) ~[?:?]
        at org.apache.http.entity.InputStreamEntity.writeTo(InputStreamEntity.java:140) ~[?:?]
        at com.amazonaws.http.RepeatableInputStreamRequestEntity.writeTo(RepeatableInputStreamRequestEntity.java:160) ~[?:?]
        at org.apache.http.impl.DefaultBHttpClientConnection.sendRequestEntity(DefaultBHttpClientConnection.java:156) ~[?:?]

Любая помощь приветствуется!Спасибо!

...