Я хотел бы реализовать Dominant Resource Fairness (DRF) или другие алгоритмы планирования в Apache...
У меня есть кластер Hadoop в AWS с YARN, на который я подаю искровые приложения.Я работаю через...
Я просматривал веб-сайт Hadoop и нашел следующую ссылку для потоковой передачи hadoop....
Я пытаюсь запустить простую функцию mllib (fpgrowth) из Java с удаленного компьютера в версии...
Добрый день, Я выполняю потоковое задание Flink (v1.7.1) в AWS EMR 5.20, и мне хотелось бы, чтобы...
Я хочу решить проблему подсчета слов и хочу получить результаты в обратном порядке в зависимости от...
Я выполняю задание потоковой передачи в режиме кластера пряжи.Это приведет к получению записей из...
Я получил следующую ошибку: 2019-02-01 12:01:39 INFO YarnAllocator:54 - Driver requested a total...
Я давно борюсь с этим вопросом и отчаянно ищу помощь. Контекст У меня есть толстая банкаотправлено...
у меня 4 кластера.Это работало хорошо, прежде чем я выключил сервер .. (Когда я выключил этот...
Я пытаюсь зациклить ту же модель R с 40 различными входами. Я запускаю это на EMR и пытаюсь...
В нашем проекте мы используем искровой кластер Apache с открытым исходным кодом.Нужна помощь по...
У меня есть сценарий оболочки, который инициализирует задание потоковой передачи искры в режиме...
Когда вы находитесь в Hadoop, вы можете заставить YARN управлять заданиями, ресурсами и т. Д....
ПРИМЕЧАНИЕ. Я не хочу указывать имя очереди YARN, как в Hadoop: указать очередь пряжи для distcp...
Я довольно новичок в области больших данных. У меня возникают проблемы при попытке выполнить...
При запуске пряжи Гобблина с командой ниже: sudo -u hdfs -g hadoop /opt/gobblin/bin/gobblin-yarn.sh...
У меня есть кластер искр с пряжей и hadoop в Azure, используя Hdinsight.Мой кластер состоит из 2...
Я настроил PrometheusPushGatewayReporter, как описано в разделе метрик документации. Я вижу...
У меня возникли проблемы с заданием Spark, которое примерно в половине случаев выберет обработку...
Рабочая служба диспетчера узлов Hadoop начала падать (запускаться и останавливаться) непрерывно,...
Когда я отправляю искровое задание в удаленный кластер из среды планирования, я иногда хотел бы...
Я выполняю свою работу oozie В работе я запускаю действие Java и вижу в журнале, что мои действия...
Я хочу присоединиться к двум RDD, каждый из которых занимает 10 ГБ памяти. Но у меня кластерная...
Из URL https://developer.ibm.com/hadoop/2017/06/30/deep-dive-yarn-cgroups/ мы видим следующие...