Terraform AWS Athena использует каталог клеев в качестве базы данных - PullRequest
Новая
       58

Terraform AWS Athena использует каталог клеев в качестве базы данных

6 голосов
/ 12 марта 2019

Я не совсем понимаю, как мне использовать terraform для подключения Athena к моей базе данных каталога клея.

Я использую 

resource "aws_glue_catalog_database" "catalog_database" {
    name = "${var.glue_db_name}"
}

resource "aws_glue_crawler" "datalake_crawler" {
    database_name = "${var.glue_db_name}"
    name          = "${var.crawler_name}"
    role          = "${aws_iam_role.crawler_iam_role.name}"
    description   = "${var.crawler_description}"
    table_prefix  = "${var.table_prefix}"
    schedule      = "${var.schedule}" 

    s3_target {
      path = "s3://${var.data_bucket_name[0]}"
  }
    s3_target {
      path = "s3://${var.data_bucket_name[1]}"
  }
 }

для создания базы данных Glue и сканера для сканированияведро s3 (здесь только два), но я не знаю, как связать службу запросов Athena с базой данных Glue. В документации terraform для Athena, похоже, нет способа соединить Athena с каталогом Glue, а только с S3 Bucket.Однако очевидно, что Athena можно интегрировать с клеем .

Как я могу терраформировать базу данных Athena для использования моего каталога Glue в качестве источника данных, а не корзины S3?

Ответы [ 2 ]

1 голос
/ 30 марта 2019

Наша текущая базовая настройка для того, чтобы Glue сканировал одну корзину S3 и создавал / обновлял таблицу в Glue DB, которую затем можно запросить в Афине, выглядит следующим образом:

Роль и политика ролей:

  • Для take_role_policy роли IAM требуется только Glue в качестве принципала
  • Политика ролей IAM допускает действия для Glue, S3 и журналов
  • Действия и ресурсы Glue могутвероятно, будут сужены до тех, которые действительно необходимы (эта работа еще не завершена)
  • Действия S3 ограничены действиями, необходимыми сканеру 
resource "aws_iam_role" "glue_crawler_role" {
  name = "analytics_glue_crawler_role"

  assume_role_policy = <<EOF
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Action": "sts:AssumeRole",
      "Principal": {
        "Service": "glue.amazonaws.com"
      },
      "Effect": "Allow",
      "Sid": ""
    }
  ]
}
EOF
}

resource "aws_iam_role_policy" "glue_crawler_role_policy" {
  name = "analytics_glue_crawler_role_policy"
  role = "${aws_iam_role.glue_crawler_role.id}"
  policy = <<EOF
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "glue:*",
      ],
      "Resource": [
        "*"
      ]
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:GetBucketLocation",
        "s3:ListBucket",
        "s3:GetBucketAcl",
        "s3:GetObject",
        "s3:PutObject",
        "s3:DeleteObject"
      ],
      "Resource": [
        "arn:aws:s3:::analytics-product-data"
      ]
    },
    {
      "Effect": "Allow",
      "Action": [
        "logs:CreateLogGroup",
        "logs:CreateLogStream",
        "logs:PutLogEvents"
      ],
      "Resource": [
        "arn:aws:logs:*:*:/aws-glue/*"
      ]
    }
  ]
}
EOF
}

S3 Bucket, Glue Databaseи гусеничный: 

resource "aws_s3_bucket" "product_bucket" {
  bucket = "analytics-product-data"
  acl = "private"
}

resource "aws_glue_catalog_database" "analytics_db" {
  name = "inventory-analytics-db"
}

resource "aws_glue_crawler" "product_crawler" {
  database_name = "${aws_glue_catalog_database.analytics_db.name}"
  name = "analytics-product-crawler"
  role = "${aws_iam_role.glue_crawler_role.arn}"

  schedule = "cron(0 0 * * ? *)"

  configuration = "{\"Version\": 1.0, \"CrawlerOutput\": { \"Partitions\": { \"AddOrUpdateBehavior\": \"InheritFromTable\" }, \"Tables\": {\"AddOrUpdateBehavior\": \"MergeNewColumns\" } } }"

  schema_change_policy {
    delete_behavior = "DELETE_FROM_DATABASE"
  }

  s3_target {
    path = "s3://${aws_s3_bucket.product_bucket.bucket}/products"
  }
}
0 голосов
/ 29 марта 2019

У меня было много ошибок в коде Terraform. Для начала:

  1. Аргумент S3 в коде aws_athena_database относится к сегменту для вывода запроса , а не данных, из которых должна быть построена таблица.
  2. Я настроил aws_glue_crawler для записи в базу данных Glue, а не в базу данных Athena. Действительно, как Мартин предложил выше, после правильной настройки Афина смогла увидеть таблицы в базе данных Glue.

  3. У меня не было правильной политики, связанной с моим сканером. Изначально единственной политикой, связанной с ролью искателя, была 

    resource "aws_iam_role_policy_attachment" "crawler_attach" {
    policy_arn = "arn:aws:iam::aws:policy/service-role/AWSGlueServiceRole"
    role = "${aws_iam_role.crawler_iam_role.name}"
}

    после установки второй политики, которая явно разрешает всем S3 доступ ко всем корзинам, которые я хотел сканировать, и присоединению этой политики к той же роли сканера, сканер успешно выполнил и обновил таблицы.

Второй полис: 

resource "aws_iam_policy" "crawler_bucket_policy" {
    name = "crawler_bucket_policy"
    path = "/"
    description = "Gives crawler access to buckets"
    policy = <<EOF
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "Stmt1553807998309",
      "Action": "*",
      "Effect": "Allow",
      "Resource": "*"
    },
    {
      "Sid": "Stmt1553808056033",
      "Action": "s3:*",
      "Effect": "Allow",
      "Resource": "arn:aws:s3:::bucket0"
    },
    {
      "Sid": "Stmt1553808078743",
      "Action": "s3:*",
      "Effect": "Allow",
      "Resource": "arn:aws:s3:::bucket1"
    },
    {
      "Sid": "Stmt1553808099644",
      "Action": "s3:*",
      "Effect": "Allow",
      "Resource": "arn:aws:s3:::bucket2"
    },
    {
      "Sid": "Stmt1553808114975",
      "Action": "s3:*",
      "Effect": "Allow",
      "Resource": "arn:aws:s3:::bucket3"
    },
    {
      "Sid": "Stmt1553808128211",
      "Action": "s3:*",
      "Effect": "Allow",
      "Resource": "arn:aws:s3:::bucket4"
    }
  ]
}
EOF
}

Я уверен, что смогу избежать жесткого кодирования имен сегментов в этой политике, но пока не знаю, как это сделать.

...