Я использую Zeppelin 0.7.3 с Spark 2.3 в режиме клиента пряжи. Мои настройки: Spark: spark.driver
Я запускаю простое задание зажигания на кластере YARN и мою конфигурацию для yarn-site.xml...
Я установил многоузловой кластер HDP с Spark и Yarn на EC2 Все узлы являются узлами данных. Node3...
Для справки: я решил эту проблему, добавив Netty 4.1.17 в hadoop / share / hadoop / common...
В последнее время мы переключаем наш кластер из 10 узлов с MapReduce на Tez, и с тех пор у нас...
Я использую режим кластера искровой пряжи. Я создал свой jar зависимостей...
У меня есть кластер, содержащий 1 ведущий и 5 ведомых (узел), каждый из которых 32 ядра и 64 ГБ...
У меня давно запущено искровое потоковое задание, которое читает с кафки. Это задание запускается...
Я использую Hadoop 2.7.2. Можно ли измерить использование ресурсов в заданиях, выполняемых в...
Когда я запускаю искровое задание с использованием оттенка в менеджере cloudera, оно выполняется...
Когда задание отправлено, когда YARN и NameNode взаимодействуют?Когда работа отправляется, кому она...
Я использую EMR 5.4 и отправляю искровое задание в Yarn Когда я пытаюсь получить журнал с yarn logs...
YarnAllocator и Yarn Resource Manager действовали настолько щедро, что запросили и дали больше, чем...
Я пытаюсь запустить программу в кластере, используя YARN. YARN присутствует там вместе с HADOOP....
Я пытаюсь выполнить несколько шагов EMR параллельно.Я видел другие вопросы, касающиеся этой...
Мы используем команду /home/ubuntu/spark/bin/spark-submit --master yarn --deploy-mode cluster...
Давайте посмотрим на https://hortonworks
spark-submit --num-executors 10 --executor-memory 5g --master yarn --executor-cores 3 --class com
GetYarnApplicationResponse.YarnApplication.trackingUrl содержит имя хоста, например...
Может ли кто-нибудь помочь понять четкую разницу между spark.eventLog.dir и spark.history.fs
В файлах конфигурации есть 2 свойства, с которыми я путаюсь: Свойство yarn.nodemanager
Я пишу потоковое приложение с использованием pyspark, которое в основном обрабатывает данные....
Процессор пряжи стека HDP, зараженный трояном XMrig, даже если я использую песочницу kylo ex2, я...
Я выполняю эти задания Flink в кластере пряжи.Когда задание Flink не удается или я перезапускаю его...
Я выполнил H2O на пряже в соответствии с официальными требованиями: http://h2o-release.s3.amazonaws