Существует кластер Hadoop и сопутствующий Hive Metastore, который описывает расположение и схему для различных данных на S3. У меня нет доступа к кластеру, но я могу получить доступ к MySQL Metastore.
Я хочу получить доступ к данным на S3 в виде таблиц , но, учитывая мой нечастый шаблон доступа, Amazon Athena имеет гораздо больше смысла, чем запуск кластера EMR и указание на Hive Metastore. Проблема в том, что мне нужно CREATE EXTERNAL TABLE в Афине до запроса данных.
Я знаю, что в Metastore есть все данные, которые мне нужны для генерации этого CREATE TABLE запроса, который мне нужно передать Афине.
Существует ли какой-либо существующий инструмент или код, который может сгенерировать этот запрос для меня? Должен ли я генерировать оператор CREATE TABLE в SQL или Python?