У меня есть данные, которые поступают в корзину S3, и я хотел бы выполнять запрос к ним каждый час
Нам нужно передать 4 параметра из AWS Lambda в AWS Glue job при запуске задания Glue. response =...
Я пытаюсь создать клеевой триггер из функции boto3 create_trigger.Проблема связана с параметром...
Я написал работу по склеиванию aws, в которой я пытаюсь читать таблицы снежинок как спарк-фрейм...
У меня есть задания Spark в EMR, и EMR настроен на использование каталога Glue для метаданных Hive...
Я изучил Spark в Scala, но я очень плохо знаком с pySpark и AWS Glue, , поэтому я следовал этому...
Я обрабатываю свои данные с помощью Pyspark в AWS Glue.Мне нужно будет генерировать пакетный отчет...
У меня есть лямбда, которая принимает данные json из балансировщика нагрузки, а затем записывает...
Я использую Spark для записи файлов на S3 в формате ORC.Также использую Athena для запроса этих...
У меня есть праздничный стол начало: дата конец: дата тип: Enum (HOLIDAY | LONG_WEEKENDS) Некоторые...
Когда я запрашиваю свои файлы из каталога данных с помощью Athena, все данные отображаются в...
Я использую PySpark (на AWS Glue, если это имеет значение).Я получаю ошибки тайм-аута: (кажется, он...
Я пытаюсь создать раздел на одном из полей в csv и сохранить его как паркет, используя Glue ETL...
Я новичок в снежинке.Я создаю задание ETL, где нам нужен доступ к базе данных снежинок. Я пытаюсь...
Моя работа по склеиванию завершается с ошибкой «Команда не выполнена с кодом выхода 1».Когда я...
AWS Glue выглядит многообещающе, но у меня есть проблема с временем цикла разработки.Если я...
Очень странная проблема с клеем.Используя его для запуска ETL с данными, я перехожу из MySQL RDS в...
Я пытаюсь выяснить, что означают мои показатели работы AWS Glue и какова вероятная причина сбоя Из...
У меня есть структура папок S3 следующего формата, скажем: Abc / 123 / xyz.txt и Abc / 456 / jkl
Я использую Spark 2.4.0 на EMR и пытаюсь сохранить простой Dataframe в s3, используя AWS Glue Data...
Когда задание ETL запущено, оно выполняется должным образом, но, поскольку в таблице нет метки...
Я пытаюсь выяснить, как перенести сценарий использования из EMR в AWS Glue с использованием...
Я написал один код pyspark, который работает в aws glue и пытается прочитать один файл dat.gz
Я думаю, что AWS Glue не хватает памяти после сбоя записи выходных данных паркета ... Произошла...
Мне не удалось найти подходящее подсообщество, поэтому я надеюсь, что мой вопрос здесь подходит. В...