Я только начал использовать AWS EMR и застрял при попытке загрузить наборы данных в контекст...
Я новичок в PIG.Я написал один запрос, который не работает, как ожидалось.Я пытаюсь обработать...
Представьте два сценария в EMR: Запуск задания зажигания в локальном режиме на одном узле. Запуск...
Я пытаюсь вычислить среднее число чисел, указанных в текстовом файле на S3 с Spark на AWS EMR. Но я...
Я пытаюсь загрузить данные из S3 в RDS, используя Sqoop.У меня есть приблизительно 35 ГБ...
Моя команда работает в AWS, и у нас есть скрипты на Python, которые выполняют некоторые основные...
У меня есть искровые проза, который выполняет некоторые вычисления, затем выполняет вставку в...
У меня есть отлично работающий шаблон облачной информации AWS, который создает кластер EMR. Теперь,...
Когда я использую spark локально, записывая данные в мою локальную файловую систему, он создает...
Я создал кластер EMR с приведенными ниже конфигурациями в соответствии с документацией AWS...
Я получаю следующую ошибку: "Caused by: java.lang.NoSuchMethodException: org.apache.spark.sql
У меня есть папка AWS S3, в которой хранится большое количество JSON-файлов.Мне нужно ETL эти файлы...
Я приобрел несколько зарезервированных экземпляров для своих заданий EMR.Итак, я рассматриваю...
Я работаю над приложением spark, и у меня есть серьезные проблемы с временем выполнения задачи...
В основном я хочу развернуть пользовательский JAR-файл Flink в новом кластере AWS EMR.Вот краткое...
Я внес изменение в скрипт Python в github и создал ветку. Мой вопрос - как это проверить с помощью...
Я выполняю довольно простую работу Spark: прочитайте пару наборов данных Parquet (10-100 ГБ) каждый...
У меня есть продолжительное приложение для потоковой передачи искры (режим клиента пряжи, EMR),...
У меня 1 драйвер и 6 ядер с 16 ГБ оперативной памяти и 8 ядрами в каждом.Я использую spark-submit...
Я хочу настроить EMR для обработки потока данных, предоставленных Kinesis.Я нашел несколько ссылок,...
Я плохо умею писать сценарий оболочки / действие Bootstrap для EMR.Могу ли я использовать...
Я выполняю задание pyspark spark-submit --driver-memory 2g --executor-memory 2g --conf spark.driver
У меня в PySpark значительный фрейм данных (100 ГБ), который я хочу разделить на набор для обучения...
Мне нужно создать кластер AWS EMR для работы с искрой с одним главным и 4 основными узлами с...
Я храню все события от kafka до s3, используя kafka connect.Затем я использую задание emr spark для...