Я конвертирую CSV-файл в паркет и сохраняю его в папке s3, но когда я проверяю местоположение, я...
Прежде всего, я работаю с PySpark на Glue и читаю несколько очень больших CSV-файлов. Эти CSV-файлы...
Я делаю ETL от Postgres до Redshift с помощью AWS Glue. Я импортировал таблицу с помощью Crawler и...
Я искал пример того, как настроить Cloudformation для связующего рабочего процесса, который...
Долгосрочные склеивающие задания для экспорта данных из Redshift в s3 не выполняются из-за...
Я пытаюсь подключиться к Redshift и выполнить простые запросы из Glue DevEndpoint (это является...
Лямбда-функция AWS (lambda_fns1) запускается всякий раз, когда файл (sample_file) загружается в...
Я создал таблицу в таблице каталога с помощью create_table в API-интерфейсе aws. С помощью этого...
Я загружаю набор данных в DynamicFrame, выполняю преобразование и затем записываю его обратно в S3:...
Я хотел бы построить структуру, которая связывает шаблон регулярного выражения с описанием функции...
Я успешно подключился к своему большому запросу, используя: sparkSession.read
Я пытаюсь перенести метаданные Hive в Glue. При переносе дельта-таблицы, когда я предоставляю тот...
Я пытаюсь сгладить файл JSON, чтобы иметь возможность загрузить его в PostgreSQL, все в AWS Glue. Я...
Я пытался создать бессерверное озеро данных с Amazon Simple Storage Service (Amazon S3) в качестве...
Я создал блокнот Sagemaker для разработки заданий AWS Glue, но при работе с предоставленным...
Я новичок в склеивании и пытаюсь заставить функцию-обходчик извлекать таблицы базы данных из...
Я пытаюсь ETL таблицу с UUID в одном столбце в таблицу postgres, но я пытаюсь загрузить столбец...
Функции шага AWS позволяют вызывать задания AWS Glue, как описано здесь: https://docs.aws.amazon
Я подключился через SSH к конечной точке Dev в Glue. Работает Spark 2.4.1. Я хочу выполнить простой...
Первый вопрос переполнения стека здесь. Надеюсь, я сделаю это правильно: Мне нужно использовать...
Согласно статье *1002* от Databricks, Delta Lake можно интегрировать с клеем AWS. Однако я не...
Схема выглядит следующим образом root |-- orderitemlist: array (nullable = true) | |-- element:...
Привет всем, я использую terraform, чтобы создать работу клея. Теперь AWS Glue теперь поддерживает...
Я пытаюсь преобразовать фрейм данных в динамический фрейм, используя функции toDF и fromDF...
У меня есть большой набор данных, загруженный во фрейм данных. tbl = glueContext