Я пытаюсь вытащить таблицу из базы данных mysql на экземпляре ec2 через s3 для запроса в красном смещении. Мой текущий конвейер - я сканирую таблицу базы данных mysql с помощью aws glue crawler, чтобы получить схему в каталоге данных. Затем я настроил задание aws etl, чтобы перенести данные в корзину s3. Затем я снова сканирую данные в корзине s3 с помощью другого искателя, чтобы получить схему для данных из корзины s3, в каталог данных, а затем запускаю приведенный ниже скрипт в окне запроса красного смещения, чтобы вывести схему на красное смещение. Кажется, много шагов. Есть ли более эффективный способ сделать это? Например, есть ли способ повторно использовать схему из первого сканера, чтобы мне не приходилось сканировать данные дважды. Это та же таблица и столбцы.
сценарий:
create external schema schema1
from data catalog database 'database1'
iam_role 'arn:aws:iam::228276746111:role/sfada'
region 'us-west-2'
CREATE EXTERNAL DATABASE IF NOT EXISTS;