Как избежать использования гусеничного клея в aws

Question

AWS Сканер клея связан с расходами, как избежать использования гусеничного клея в aws.

Есть ли какой-либо способ, которым мы можем избежать использования гусеничного механизма и вывести схему из любого другого вариант, так что стоимость может быть уменьшена.

Answer 1

В дополнение к тому, что сказал bdcloud, также можно добавлять таблицы в каталог данных, используя ресурс 'AWS :: Glue :: Table' в CloudFormation.

https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/aws-resource-glue-table.html

Это проще сделать, если у вас есть схема таблицы, которую вы можете использовать в качестве шаблона (aws glue get-table --database-name <db name> --name <table name> даст вам JSON, что довольно близко к тому, что ожидает CloudFormation).

Опять же, вам нужно знать свою схему заранее, но выбрать подход, который наилучшим образом соответствует рабочему процессу, с которым вы собираетесь.

Answer 2

Вы можете использовать Athena для создания таблиц в каталоге Glue, но для этого вам нужно знать схему файла или вы можете получить DDL из существующей таблицы, созданной с помощью команды SHOW CREATE TABLE <table-name> in Athena, а затем вы можете изменить DDL оператор в соответствии с вашей схемой.

Запросы DDL бесплатны в Афине и не требуют затрат.

Еще один способ сделать это - выполнить API-вызов Glue create table. Пожалуйста, обратитесь к этому для python синтаксиса.