Я занимаюсь разработкой приложения на Java Spark. Сгенерировал и успешно загрузил .jar в кластер...
Я использую ноутбук AWS. Я могу запускать обычные задания на основе Scala без штрафов от сторонних...
По умолчанию EMR использует конечную точку sts.amazonaws.com для запросов sts. Мы хотели бы, чтобы...
Я пишу искровой DataFrame в S3 с использованием метода write, и мне было интересно, есть ли способ...
Я пытаюсь загрузить некоторые CSV-файлы из корзины S3 для запуска фрейма данных с помощью EMR....
У меня есть пакетное задание в одном EMR (кластер Spark), которое выполняет массовую вставку в...
Я создаю кластер Aws Emr с AWS Java SDK. Ниже приведен фрагмент кода. JobFlowInstancesConfig...
Я использую Datapipeline для записи в Dynamo через шаг EMR, однако я использую OnDemand для...
У нас есть сжатые сгенерированные файлы ORC. Я просто пытаюсь понять журнал дампа файла ORC, и я...
Я прошел через все потоки на зависимостях для подключения искры, работающей на EMR AWS, к корзине...
Я очень новичок в пошаговых функциях AWS и лямбда-функциях AWS и мог бы действительно помочь при...
У меня есть машина с воздушным потоком, которая имеет версию apache-airflow == 1.10.5. Я знаю, как...
Я очень новичок в AWS Step Functions и AWS Lambda Functions и могу действительно использовать...
Я использую API boto3 для создания кластера Amazon EMR. Используя действия начальной загрузки, я...
Учтите, что у нас около 30 запусков EMR в 5:30 утра до 10:30 по тихоокеанскому времени. У нас есть...
Я запускаю конвейер данных один раз в день, и конвейер создает временную EMR для запуска действий....
Есть ли способ настроить действия начальной загрузки для запуска на EMR после установки основных...
Я хочу использовать Zeppelin с моим искровым EMR-кластером, но я не понимаю, как сохранить мои...
Я пытаюсь записать фрейм данных в S3 из EMR-Spark, и я наблюдаю очень медленное время записи, когда...
У меня есть кластер AWS EMR с 1 главным узлом, 30 базовыми узлами и некоторыми автоматически...
Я пытаюсь вставить искровой фрейм данных в Aurora RDS Postgres. Допустим, DF имеет 2 столбца и...
Я занимаюсь проектированием некоторых конвейеров данных ETL с помощью Airflow.Преобразование данных...