Hive не распознает мой оператор WITH внутри команды INSERT.Как я могу понять куст? Я создал внешние...

Чтобы получить список IP-адресов подчиненных узлов emr, необходимо выполнить следующий код: yarn...

Я использую Apache Spark и Redshift в VPC, а также использую AWS S3 для исходных данных и временных...

У нас есть много наборов данных паркета, разбитых на год / месяц / день / час. Некоторые из этих...

У меня есть файл паркета на S3, который содержит несколько схем следующим образом:...

Мне нужно получить данные из RDBMS, используя ODBC Connector в экосистеме AWS.AWS Glue не...

Я хочу вызвать несколько искровых заданий, используя spark-submit в одном кластере EMR.EMR...

Моё искровое задание (EMR), которое пишет в s3 каждые 5 минут, не может писать несколько раз каждый...

Я пишу DataFrame в Redshift, используя временную корзину s3 и Parquet в качестве временного формата

Как экспортировать таблицу HBase из Cloud Bigtable в AWS EMR? Я знаю, что есть официальный способ...

В настоящее время пытаются записать большое количество (7,5 миллионов) файлов json из s3 в...

У меня есть куча заданий SQOOP, которые я хотел бы запустить через EMR add-step.Мой существующий...

Я пытаюсь выполнить некоторые операции с фреймом данных pyspark.Фрейм данных выглядит примерно так:...

У меня есть n файлов .zip на s3, которые я хочу обработать и извлечь из них некоторые данные

Я хотел бы знать, есть ли способ объявить AWS::Route53::RecordSet в конфигурации CloudFormation,...

У меня были проблемы с памятью, и я посмотрел значения параметров по умолчанию, такие как:...

При выполнении любого запроса в EMR и Presto через Hue (например, выберите * из information_schema

Я создал кластер EMR с конфигурацией hadoop, Sqoop и Spark.Я пытаюсь импортировать Sqoop, но...

Как мне указать, что я хочу, чтобы jvm использовал MarkSweep gc при запуске задания spark-submit на...

У меня есть скрипт на python для запуска кластера EMR. В моем скрипте я пытаюсь передать...

При выполнении моей искровой работы получается ошибка ниже.Он обрабатывает около 10 миллионов...

Как заголовок. У нас есть кластеры stage / prod emr, и нам может понадобиться запустить команду...

Я использую AWS EMR для запуска некоторых приложений Java Spark. Можно ли установить Spark с...

Я ищу соединитель / клиент в Scala, который отправляет подписанные запросы в AWS эластичный поиск.Я...

Я отправляю задание Spark на кластер EMR и хочу увидеть веб-интерфейс Spark, который предоставляет...