Резервное копирование ElasticSearch в S3 AWS

Question

Я пытаюсь сделать резервную копию своего кластера ElasticSearch на AWS в корзину S3.

Я следовал следующему «учебному пособию»: Использование Amazon S3 для хранения одного индекса сервиса Amazon Elasticsearch Service

Я предпринял следующие шаги:

Создание корзины S3 (называемой cb-search-es-backup).

Создайте новую политику (называемую P_ES_SNAPSHOT_TO_S3):

{
    "Statement": [
        {
            "Action": [
                "s3:ListBucket",
                "s3:GetBucketLocation",
                "s3:ListBucketMultipartUploads",
                "s3:ListBucketVersions"
            ],
            "Effect": "Allow",
            "Resource": [
                "arn:aws:s3:::cb-search-es-backup"
            ]
        },
        {
            "Action": [
                "s3:GetObject",
                "s3:PutObject",
                "s3:DeleteObject",
                "s3:AbortMultipartUpload",
                "s3:ListMultipartUploadParts"
            ],
            "Effect": "Allow",
            "Resource": [
                "arn:aws:s3:::cb-search-es-backup/*"
            ]
        }
    ],
    "Version": "2012-10-17"
}

Создайте сервисную роль, к которой прикреплена предыдущая созданная политика arn: aws: iam :: 12345678910: role / Role_ES_TO_S3

Политика доверия роли:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "ec2.amazonaws.com"
      },
      "Action": "sts:AssumeRole"
    },
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "es.amazonaws.com"
      },
      "Action": "sts:AssumeRole"
    }
  ]
}

В Kibana я пытался использовать следующее в Dev Tools:

PUT /_snapshot/ES_BACKUP
{
"type": "s3",
    "settings": {
        "bucket": "cb-search-es-backup",
        "region": "eu-west-1",
        "role_arn": "arn:aws:iam::423628447134:role/Role_ES_TO_S3"
    }
}

но я получаю следующий ответ от kibana:

{"Message": "Пользователь: анонимный не авторизован для выполнения: iam: PassRole на ресурсе: arn: aws: iam:: 12345678910: роль / Role_ES_TO_S3 "}

Answer 1

У меня та же ошибка с кибаной.Попробуйте выполнить резервное копирование с помощью aws-es-proxy .

. Если вы собираетесь использовать образ докера, передайте учетные данные доступа AWS, как показано ниже:

docker run --rm -it -p 9200:9200 -e "AWS_ACCESS_KEY_ID=XXXXXXXXXXXXXXXXX" -e "AWS_SECRET_ACCESS_KEY=YYYYYYYYYYYYYYYYYYYYYYYYY" abutaha/aws-es-proxy ./aws-es-proxy -verbose -listen 0.0.0.0:9200 -endpoint https://enpoint-url