Извлечение данных из каталога данных AWS Glue в текстовый файл извне

Question

Я пишу скрипт на python, который должен прочитать метаданные (только схему), представленные в каталоге данных AWS Glue, и записать их в текстовые файлы. Как это сделать?

Answer 1

Вы можете использовать pyto API boto3 для запроса метаданных таблицы из каталога клея.

Пример кода:

import boto3
client = boto3.client('glue')
response = client.get_table(
    DatabaseName='<your_database_name>',
    Name='<your_table_name>'
)
print response

Вы можете проанализировать ответ (json), чтобы извлечь необходимые метаданныеи выгрузить его в файл.

Справочная документация: Boto3 - Каталог клея - Получить таблицу