Я пытаюсь использовать AWS Glue для ETL базы данных MySQL от RDS до S3, чтобы я мог работать с данными в таких сервисах, как SageMaker или Athena. В настоящее время меня не волнуют преобразования, это прототип, и я просто хочу вывести БД на S3, чтобы начать тестирование различных цепочек инструментов.
- Я установил базу данных Glue и успешно проверил соединение с RDS
- Я использую сервисную роль AWS Glue IAM
- Мой контейнер S3 имеет правильный префикс
aws-glue-*
- Я создал сканер, используя базу данных Glue, служебную роль AWSGlue и корзину S3 выше с параметрами:
- Обновления схемы в хранилище данных: обновление определения таблицы в каталоге данных
- Удаление объектов в хранилище данных: удаление таблиц и разделов из каталога данных.
Когда я запускаю сканер, он завершается через ~ 60 секунд, но не создает таблиц в базе данных.
Я попытался добавить политику администратора к роли службы склеивания, чтобы устранить проблемы с доступом к IAM , и результат тот же.
Кроме того, журналы CloudWatch пусты. Группы журналов создаются для тестового соединения и искателя, но ни одна из них не содержит записей.
Я не уверен, как решить эту проблему, информация об AWS Glue кажется довольно скудной.