Недавно мы обновили метку выпуска EMR с emr-5.16.0 до emr-5.20.0, в которой вместо 2.3.1...

Проблема: У меня есть кластер EMR (вместе с рядом других ресурсов), определенный в шаблоне облачной...

У нас крупный корпоративный клиент, у него работает кластер с 80 узлами.Мы запускаем 80 узлов...

У меня довольно сложный запрос, который я пытаюсь преобразовать для использования с Hive. В...

Я использую AWSElasticMapReduceJavaClient-1.11.x, и максимальное количество кластеров, которые EMR...

Я не могу запустить кластер для выпуска EMR - 5.11.0 (версия AWS JAVA SDK 1.11.221 ), предоставив...

Я пытаюсь подключиться из локального приложения Java к работающему кластеру HBase.Фрагмент приведен...

Я пытаюсь запускать спарк-задания на python3.Теперь я могу успешно создать среду, но проблема...

Моя цель - запланировать задания с EmrCreateJobFlowOperator и EmrAddStepsOperator.А именно, я хочу...

У меня есть кластер Hadoop в AWS с YARN, на который я подаю искровые приложения.Я работаю через...

Используя emr boto3 в aws lambda, я могу получить список кластеров, для которых настроен параметр...

Я использую кластер EMR с Spark / Livy и хотел бы протестировать Spark Structured Streaming.Я...

У нас есть потоковое задание, которое выполняется каждые 30 минут и занимает 15 секунд, чтобы...

У меня есть конвейер данных, который извлекает данные из источника HDFS, выполняет очистку и...

Я хочу прочитать / записать некоторые данные pandas в s3, через pyspark intepreter. Я попытался:...

Я построил лямбда-функцию для добавления заданий Spark как шагов в EMR каждый час.Однако Spark...

Мне нужно настроить HBase удаленно, и, поскольку у меня есть пробная 12-месячная учетная запись AWS...

Я использую apache spark 2.2.1, который работает на кластере Amazon EMR.Иногда задания не...

у нас есть ситуация, в которой мы хотим знать, какой сервис лучше всего подойдет для нашего случая....

Мы используем spark (развернутый в AWS EMR) для запросов к очень большим наборам данных. Наш набор...

Когда я отправляю искровое задание в удаленный кластер из среды планирования, я иногда хотел бы...

Для просмотра журналов приложения EMR в настоящее время мы добавили IP-адреса главного и основного...

Я использую кластер EMR 5.18 с использованием типа экземпляра m3.2xlarge. Входные файлы имеют...

Я пытаюсь использовать pip для установки библиотек в Python virtualenv, который находится на...

Здравствуйте, я пытаюсь запустить приложение pyspark на EMR. У меня есть пара зависимостей от...