Как получить схему или обработанный вложенный json сжатый файл (gzip), сохраненный в s3 с использованием AWS glue?
Я хотел получить схему вложенного json сжатого (gzip) файла, сохраненного в s3 с помощью aws клея или любого другого инструмента, а затем использовать эту схему в Афине для анализа данных?
Есть ли способ без написания кода Zeepline https://aws.amazon.com/blogs/big-data/simplify-querying-nested-json-with-the-aws-glue-relationalize-transform/
Самый простой способ получить эту схему - использовать Glue Crawler. Вы можете создать искатель, указывая его на путь в s3, то есть путь включения на искателе: подробности см. В следующих документах: https://docs.aws.amazon.com/glue/latest/dg/add-crawler.html