Я работаю на windows 8.1, Hadoop 2.6, spark 1.6, hive и rapidminer 9.0 версии. У меня есть процесс,...
Время от времени у меня возникало множество проблем с devops в нашем производственном кластере....
Мне удалось сохранить логи на сервере запуска (сервере, на котором я запускаю задание spark) с...
Я попытался запустить команду pio train в кластере HDInsight Spark, используя следующую команду pio...
Мне нужно знать, зачем указывать ядра-исполнители для приложений spark, работающих на пряже....
Я пытаюсь запустить 2 шага одновременно в EMR. Однако я всегда выполняю первый шаг и второй...
У меня уже есть некоторая картина архитектуры пряжи, а также искровой архитектуры. Но когда я...
Я запустил несколько приложений Map Reduce. Истории приложений отображаются на веб-странице YARN UI...
Как можно запросить сервер временной шкалы в кластере Azure HDInsight Hadoop для получения метрик...
У меня есть процесс, который читает таблицу кустов (parquet-snappy) и создает набор данных объемом...
Я сделал некоторые изменения в yarn-site.xml, и после этого я не смог открыть улей. Я удалил...
Я просто запускал разные задания с одинаковой средой jar-зависимостей в hadoop.И перед началом...
Я запускаю сценарий pyspark, используя spark-submit.Задание выполняется успешно. Теперь я пытаюсь...
Я использую свое искровое приложение для пряжи. Можно ли получить идентификатор приложения для...
Ниже приведены конфигурации для нашей очереди в кластере пряжи hadoop. Min Resources:...
У меня есть кластер GCP Dataproc с 50 рабочими (n1-standard-16 16 VCores 64 ГБ ОЗУ). В кластере...
Я написал одно искровое задание и хочу отправить его в кластер пряжи со своего ноутбука в качестве...
Мое искровое приложение, которое работает на кластере пряжи, упало, и я пытаюсь определить основную...
У меня 1 главный узел и 1 вспомогательный узел. Моя проблема заключается в том, что при запуске...
Когда я запускаю Spark на Yarn, я понимаю, что задания могут превышать свою квоту ресурсов в тихое...
Насколько я знаю, Hadoop YARN может управлять только процессорами и памятью (и с устройствами...
У меня есть требование записывать журналы приложений Yarn из EMR в другой источник, отличный от S3....
У меня уже есть много времени, требующее сокращения карты, работающее в моем кластере.Когда я...
Я установил новый кластер HDP 3, используя ambari 2.7. Проблема в том, что служба менеджера...
Я хочу собрать сообщения журнала, созданные приложением spark, в файл в локальной файловой системе