У меня есть приложения spark (2.0.1), развернутые в кластере Hadoop с версией 2.7.0 (я использую...
При выполнении команды yarn application -list в моем кластере hadoop возвращает список запущенных...
В режиме искровой пряжи я объявил переменную SparkSession в объекте scala следующим образом:...
В нашем кластере Hadoop есть продолжительное приложение для потоковой передачи искр.Проблема в том,...
Моя основная цель - получить appId после отправки задачи кластера пряжи через код Java, что удобно...
У меня есть кластер ElasticSearch с включенной функцией SearchGuard.Я пытаюсь вставить данные в...
Я пытался скопировать файл в локальный файл из HDFS с помощью функции copyToLocalFile Hadoop из...
Работая с dataproc, я изучал различные конфигурации, связанные с искрой и пряжей, и обнаружил, что...
Я хочу запустить приложение MapReduce, используя Hadoop 2.6.5 (в моем собственном родном кластере),...
Я пытаюсь получить некоторые показатели кластера hadoop.Я думал, что API YarnClient предоставит...
Я использую giraph-1.3.0-SNAPSHOT (сборка с профилем -Phadoop_yarn) и hadoop-2.8.4 в кластере...
После запуска start-all.sh: Starting namenodes on [localhost] . Starting datanodes Starting...
Я планирую переопределить некоторый класс в YARN (RMContainerAllocator), где, как мне кажется,...
Я пытаюсь установить hadoop 2.8.5, все демоны успешно работают, но не могут запустить...
Запуская распределенное приложение в Spark / YARN, я получаю следующую ошибку, которая убивает...
Я заметил, что RDD.pipe (Seq ("/ tmp / test.sh")) запускает скрипт оболочки с пользовательской...
Мне нужно создать приоритетные очереди для определенных заданий, чтобы задания можно было выполнять...
То, что происходит прямо сейчас, - это то, что YARN просто получает нескольких исполнителей с одной...
Я пытаюсь развернуть режим зажигания, чтобы я мог использовать общий кэш RDD / Dataframe для своего...
По умолчанию YARN агрегирует журналы после завершения приложения.Но я пытаюсь объединить журналы...
У меня есть установка dataproc на облачной платформе Google с установленным apache livy.Я подаю...
Я создаю приложение spark, которое будет работать на Dataproc.Я планирую использовать эфемерные...
Вот метрики кластера Как мы видим, общее количество vcores составляет 48, 45 используется и 9...
Я использую Amazon EMR для запуска Flink Cluster на YARN.Моя установка состоит из экземпляров m4
Я командую %HADOOP_HOME%\bin\yarn jar...