Существует Java и CLI-интерфейс для запроса Yarn RM о сопоставлениях между узлами и ярлыками (и...
Я не могу отправить работу Spark через spark-submit в EMR. Моя искра-отправка выглядит так - sudo...
Я пытаюсь запустить spark-submit для запуска задач pyspark с использованием пользовательских...
В настоящее время я использую Spark в AWS EMR, но когда он находится за балансировщиком нагрузки...
Я пытался изменить количество узлов в моем кластере Hadoop (всего 5 узлов, включая 1 главного и 4...
Я пытаюсь настроить и запустить Dask-Yarn, как описано на странице: https://yarn.dask
Я использую приложение spark со следующими этапами и настройкой на amazon emr Этапы: dstream
У меня есть настроенный кластер из 7 узлов на виртуальных машинах CentOS. Раньше виртуальные машины...
При планировании заданий зажигания на пряже есть ли возможность контролировать дом, если какие-либо...
У меня есть 3 узла в Centos 6 (2 подчиненных), настроенных с помощью Hadoop 3.1.2. Каждый сервис...
Я использую менеджер ресурсов пряжи для искры.после перезапуска сервера пряжи все выполненные...
Может кто-нибудь подробно объяснить используемые ресурсы, минимальные ресурсы и максимальные...
У меня есть кластер на EMR (emr-5.20.0) с m5.2xlarge в качестве Node Master, два m4.large в...
Я пытаюсь представить скрипт Python на Spark, который должен использовать pos_tag, но всякий раз,...
Я работаю над оптимизацией конвейера данных, который использует Apache Spark, HDFS и YARN в...
Я тестировал с режимом кластера искровой нити.Задание на запуск выполняется в очереди с более...
Запуск пользовательской версии spark on пряжа в HDP работает нормально, следуя инструкциям из...
У меня есть задание структурированного потокового вещания Spark, которое молча умерло без явных...
Используя Flink 1.7.2 и YARN 2.8, я тестирую функцию восстановления кластера Flink, и кластер Flink...
После того, как аппликации завершены на пряже, в пряже будет показана большая история заявок. И в...
Я использую Flink1.6.1 и Hadoop2.7.5. сначала я начинаю моргать bin/yarn-session.sh -n 2 -jm 1024...
Я использую кластер с открытым исходным кодом apache spark, работающий поверх пряжи. Когда...
Я использую типичный стек YARN / Ranger с атомарными политиками для доступа к очередям YARN.Имея...
Из Hadoop. Полное руководство Весь процесс показан на рисунке 7-1. На самом высоком уровне Есть...
Как только работа отправляется в livy, она создает для нее сеанс.Затем отправьте искру, отправьте...