В следующем коде гарантированно выполняется цикл BLOCK 2 только после того, как все задачи...
У нас есть требование, в котором мы хотим создать несколько файлов журнала для задания MapReduce на...
Я смотрел на оптимизацию некоторых довольно больших заданий Apache Spark и заметил, что...
Я установил виртуальную машину на своем ноутбуке и пытаюсь подключиться к хосту, на котором...
Стек: Ambari 2.4.2.0, HDP 2.5.3.0, CentOS 6.8, FreeIPA 3.0.0 Когда я пытаюсь использовать...
Как проверить IP-адрес хоста (клиента), который отправляет задание менеджеру ресурсов пряжи (на...
Я использую spark-submit следующим образом: spark-submit --deploy-mode client --master yarn --conf...
В кластере HDP 2.4 Hadoop с YARN мне интересно, возможно ли запустить программу Java Apache Spark...
Ошибка - не удалось указать имя участника Kerberos сервера Я пытаюсь настроить кластер Hadoop с...
Здравствуйте, мои контейнеры заданий samza часто дают сбой из-за следующих ошибок : Исключение из...
У меня есть работа ETL, занимающая много ресурсов процессора и памяти и работающая в течение...
Я хотел бы иметь кластер, который разделен на 2 подкластера: «активные» узлы и «резервные» узлы
У меня кластер из 6 узлов - 5 DN и 1 NN.Все имеют 32 ГБ оперативной памяти.Все рабы имеют жесткий...
Я настроил tez 0.8.4 поверх Hadoop 2.7 и запускаю на нем несколько tez-заданий.Мне нужны файлы
Мне нужно использовать spark для экспорта данных из Hive (с разделами) в Teradata (без разделов)....
Я пытаюсь выделить память для запуска при запуске pyspark из AWS Linux AMI - т.е. передать точные...
Я пытаюсь настроить автоматическое масштабирование для наших заданий Spark Streaming, выполняющихся...
У меня небольшой кластер с не очень хорошей сетью.Время от времени длительное задание будет...
Я скачал hadoop 3.1.1 и внес все изменения в конфигурацию, строка: sudo hdfs namenode -format...
Я использую Yarn на Oracle BDA X7-2, спецификации: Cloudera Enterprise 5.14.3 Java 1.8.0_171 PGX 2
YARN с планировщиком емкости будет учитывать только память при выделении ресурсов для...
Я могу ввести Hive-cli и создать новые таблицы. Тем не менее, когда я пытаюсь вставить данные в...
фон: Я запускаю искровую работу в огромном кластере с большими рабочими нагрузками, в котором...
Когда я отправляю эту команду, моя работа завершилась с ошибкой «Контейнер работает за пределами...
Я пытаюсь запустить приложение pyspark в режиме клиента пряжи. Локальная искра версии 2.3.0 с...