aws Glue: можно ли извлечь только определенные данные из базы данных?

Question

Мне нужно преобразовать довольно большую таблицу базы данных с помощью aws Glue to csv. Однако я только самые новые строки таблицы за последние 24 часа. Существует столбец, в котором указана дата создания строки. Можно ли просто преобразовать эти строки, не копируя всю таблицу в файл csv? Я использую скрипт Python с Spark.

Большое спасибо заранее!

Answer 1

Вы не упомянули тип database, который вы пытаетесь подключить.В любом случае для JDBC подключений у Spark есть опция query , в которой вы можете выполнить обычный SQL query, чтобы получить строк , которые вам нужны.

Answer 2

В AWS Glue есть несколько встроенных преобразований, которые используются для обработки ваших данных.Этот перевод может быть вызван из сценариев ETL.

См. Ссылку ниже для того же: https://docs.aws.amazon.com/glue/latest/dg/built-in-transforms.html