У меня есть куча CSV-файлов в S3, которые я пытаюсь преобразовать в ORC, используя задание ETL в...
Я пытался создать таблицу в нашем каталоге данных, используя Python API. В соответствии с...
Я относительно новичок в AWS, и это может быть немного менее технический вопрос, но в настоящее...
Поскольку AWS Glue ETL может быть сценарием Python, его можно использовать для выполнения запросов...
Я настраиваю свою DMS для чтения из базы данных MySQL и миграции ее данных на S3 с репликацией
У меня есть только AWS CLI для выполнения этой работы. Я не могу получить URL JDBC, как, скажем, по...
Я хотел бы преобразовать ежемесячный фид для преобразования из csv в трубу с разделителями,...
Я пытаюсь создать задание AWS Glue, и создание завершается неудачей со следующим исключением:...
Я хочу использовать GlueMetaStore с spark.sql. Для этого я настроил кластер EMR (5.16) и установил...
У меня есть файлы gzip в S3 Bucket.Это не файлы CSV, это текстовые файлы со столбцами, разделенными...
Я создал таблицу клей AWS на основе содержимого корзины S3. Это позволяет мне запрашивать данные в...
Я пытаюсь следовать указанному учебнику здесь . Я запустил сканер с заданными конфигурациями в AWS...
Я использую простой формат JSON, такой как: [{"key":"value"}...
val ruleDs = glueContext.getSource(connectionType = "dynamodb",connectionOptions=...
Как можно избежать того, чтобы AWS Glue записывал пустые объекты в S3? У меня есть задание на клей,...
У меня есть огромная таблица, состоящая из миллиардов (20) записей, и мой исходный файл в качестве...
Я ищу пакетный загрузчик для склеивания задания для загрузки в RDS с использованием скрипта PySpark...
Мне нужно получить год из метки времени при преобразовании моих необработанных данных в клей AWS....
У меня есть JSON, который содержит различные события с разными схемами следующим образом: {...
Как реализовать необязательный параметр для задания склеивания AWS? Я создал задание, в котором в...
Я работал над Amazon EMR более 1 года, но недавно мы перешли на aws glue для обработки данных. Мне...
Как я могу получить регион, в котором выполняется текущее задание Glue? Когда начинает выполняться...
У меня есть данные в S3, которые разбиты по категориям и дате следующим образом:...
Предположим, я являюсь суперпользователем AWS, у которого есть все разрешения AWS. Я настроил клей...
Я использую клей AWS для создания заданий ETL - написание сценариев с использованием Pyspark....