восстановить моментальный снимокasticsearch из другого региона s3 - PullRequest
Новая
       11

восстановить моментальный снимокasticsearch из другого региона s3

0 голосов
/ 07 января 2020

У меня есть AWS домен ElasticSearch в eu-west-1 регионе, и я взял snapshot в подпапку S3 также в том же регионе.

Я также развернул вторую AWS Домен ElasticSearch в другом aws регионе - eu-west-2.

Добавлена ​​репликация корзины S3 между корзинами, но когда я пытаюсь зарегистрировать репозиторий в домене eu-west-2 AWS ES, я получаю следующее ошибка: 

500
{"error":{"root_cause":[{"type":"blob_store_exception","reason":"Failed to check if blob [master.dat] exists"}],"type":"blob_store_exception","reason":"Failed to check if blob [master.dat] exists","caused_by":{"type":"amazon_s3_exception","reason":"Forbidden (Service: Amazon S3; Status Code: 403; Error Code: 403 Forbidden; Request ID: 14F0571DFF522922; S3 Extended Request ID: U1OnlKPOkfCNFzoV9HC5WBHJ+kfhAZDMOG0j0DzY5+jwaRFJvHkyzBacilA4FdIqDHDYWPCrywU=)"}},"status":500}

это код, который я использую для регистрации хранилища в новом кластере (взято из https://docs.aws.amazon.com/elasticsearch-service/latest/developerguide/es-managedomains-snapshots.html#es -managedomains-snapshot-restore ): 

import boto3
import requests
from requests_aws4auth import AWS4Auth

host = 'https://search-**es-elk-prod**.eu-west-2.es.amazonaws.com/' # include https:// and trailing /
region = 'eu-west-2' # e.g. us-west-1
service = 'es'
credentials = boto3.Session().get_credentials()
awsauth = AWS4Auth(credentials.access_key, credentials.secret_key, region, service, session_token=credentials.token)

# Register repository

path = '_snapshot/es-elk-prod' # the Elasticsearch API endpoint
url = host + path

payload = {
  "type": "s3",
  "settings": {
    "bucket": "es-prod-eu-west-2",
    "region": "eu-west-2",
    "role_arn": "arn:aws:iam::1234567:role/EsProd-***-snapshotS3role-***"
  }
}

headers = {"Content-Type": "application/json"}

r = requests.put(url, auth=awsauth, json=payload, headers=headers)

print(r.status_code)
print(r.text)

из журналов, я получаю: 

curl -X GET  'https://search-**es-elk-prod**.eu-west-2.es.amazonaws.com/_snapshot/es-mw-elk-prod/_all?pretty'
{
  "error" : {
    "root_cause" : [
      {
        "type" : "amazon_s3_exception",
        "reason" : "Access Denied (Service: Amazon S3; Status Code: 403; Error Code: AccessDenied; Request ID: 72A59132E2830D81; S3 Extended Request ID: o0XalToNp19HDJKSOVxmna71hx3LkwoSFEobm3HQGH1HEzxOrAtYHg+asnKxJ03iGSDDhUz5GUI=)"
      }
    ],
    "type" : "amazon_s3_exception",
    "reason" : "Access Denied (Service: Amazon S3; Status Code: 403; Error Code: AccessDenied; Request ID: 72A59132E2830D81; S3 Extended Request ID: o0XalToNp19HDJKSOVxmna71hx3LkwoSFEobm3HQGH1HEzxOrAtYHg+asnKxJ03iGSDDhUz5GUI=)"
  },
  "status" : 500
}

ARN может получить доступ к корзине S3, как и тот же ARN, который я использую для моментального снимка домена eu-west-2 на S3 поскольку снимок eu-west-1 хранится в подпапке в корзине S3, я добавил путь к коду, например: 

payload = {
  "type": "s3",
  "settings": {
    "bucket": "es-prod-eu-west-2",
    "path": "es-elk-prod",
    "region": "eu-west-2",
    "role_arn": "arn:aws:iam::1234567:role/EsProd-***-snapshotS3role-***"
  }
}

, но это тоже не сработало.

Как правильно восстановить моментальный снимок, созданный в одном aws регионе, в другой aws регионе? * 103 0 *

Любой совет очень ценится.

...