Как извлечь данные из представлений в схеме БД в кадр данных в клей

Question

Я хотел бы создать и извлечь из представления в базе данных postgres.

Я могу сделать это путем создания контекста искры и извлечения информации в скрипте склеивания, однако я теряю функцию каталогизации данных.Есть ли способ работать с каталогом данных / сканерами, а затем получить к нему доступ в скрипте склейки.

Answer 1

AWS Glue create_dynamic_frame_from_catalog() API и Crawler работают только для таблиц.Вам нужно будет использовать sparkcontext для извлечения данных с использованием запроса поверх представления.

spark.read.format("jdbc")
.option("url", jdbcUrl)
.option("query", "select c1, c2 from t1")
.load() to fetch data using query