Я отправляю задание на сервер livy для запуска нескольких приложений в кластере спарк. Но когда...

Я работаю со Spark в Zeppelin в среде совместной работы.Таким образом, у нас есть только один...

Я использую кластер Hadoop & YARN с одним узлом. Все демоны hadoop и yarn запускаются в этом узле....

Я использую mrjob для отправки pyspark задания в EMR кластер. Я установил переменную DIRS в каталог...

Я пытаюсь отправить свое искровое задание на пряжу, но оно продолжает сбой с сообщением:...

Я экспериментировал с разными показателями отправки заданий на сервер livy.Когда задания были...

Я запускаю приложение Spark с двумя входными файлами и файлом jar, который берется из корзины...

Обычно мы добавляем параметры в spark-submit для загрузки jar и venv (скажем, zip через conda pack...

Я знаю, что это может быть моей проблемой, но я пытаюсь ее решить некоторое время. Я пытаюсь...

Я изо всех сил пытаюсь использовать несколько (через include) конфигурационных файлов Typesafe в...

Сбой в задании My Spark с ошибкой YARN Container killed by YARN for exceeding memory limits 10.0 GB...

Наше задание flink отлично работает в локальном режиме, но при попытке развернуть его в кластере...

У меня проблема с импортом таблиц через sqoop. Sqoop установлен правильно и использует правильные...

ENV: ambari 2.7 HDP 3.1.0 enbaled kerberos использование openldap В кластере используется kerberos....

После обновления с HDP 2.7 до HDP 3.1 я по какой-то причине вручную удалил многие службы, такие как...

Как мне проверить новую политику размещения код (не конфигурация) в кластере hadoop-yarn, чтобы...

Когда задание Spark не может получить достаточно ресурсов для запуска, и оно зависает там, чтобы...

Моя программа Spark сначала определит, существует ли путь к входным данным, и, если это не так,...

Значение yarn.scheduler.maximum-alloc-mb установлено в 143360 МБ в файле yarn-site.xml. Я получил...

Мой ввод - это файл csv / tsv или любой другой, разделенный разделителем, и его заголовок.Я хочу...

Я реализовал прогнозирование модели в рабочем процессе oozie, и на шаге 3 я получил ошибку...

У меня установлен сервер временной шкалы на моем Hadoop 2.7. Включен сервер временной шкалы на...

у нас есть искровой кластер HDP 2.6.4 с 10 рабочими машинами Linux. Кластер запускает искровые...

Я отправляю задания на спарк-кластер, используя livy API.Я хочу увеличить значение spark.network

Я ищу способ установить приоритет приложения для задачи в улье. Когда задание выполнено, я хочу...