Как интегрировать Github с каталогом данных в AWS Glue

Question

Этот вопрос касается каталога данных AWS Glue.

Я хочу создать такой процесс:

Подключение Github к AWS Glue Data Catalog -> Запрос на извлечение кода каталога данных(источник) -> Слияние -> Отражение измененного кода в каталоге данных AWS Glue -> Измененная информация каталога данных создается Markdown. Или обновите информацию в Confluence

Цель этой работы - сделать каталог данных читаемым не для разработчиков.

Возможно ли это? Какую литературу я должен читать? Любой совет приветствуется! Помощь !!

Answer 1

Вариант 1: Вы можете использовать API склеивания boto3 для получения информации о таблицах - get_table или get_tables()

Вы можете ссылаться на https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/glue.html#Glue.Client.get_tables Он также содержит примеры использования и ответы.

После получения ответа вы можете отобразить его на веб-странице.

Преимущество: нетехнический пользователь может получить доступ без какой-либо настройки

Недостаток: Разработчик должен написать код

Вариант 2. Использование командного инструмента AWS CLI. Ссылка: https://docs.aws.amazon.com/cli/latest/reference/glue/get-table.html

Преимущество: код разработчика не требуется

Недостаток: клиент должен знать, как настраивать и использовать команды CLI AWS и их вывод.