Я запустил скрипт импорта scoop для переноса данных из mysql в hdfs.Диагностика показывает...
Я установил Apache Spark на моем компьютере с Windows и пытаюсь отправить задание pyspark в...
Назначение - сохранить пользовательский журнал из потокового приложения в каталог HDFS или UNIX для...
Как повысить отказоустойчивость пряжи?В занятом кластере моя работа терпит неудачу из-за слишком...
Насколько мне известно, агенты Azure DevOps способны автоматически определять свои собственные...
Я недавно обновил HDP с 2.6.5 до 3.1.0, на котором работает YARN 3.1.0, и я больше не могу убивать...
Я использую Hadoop 3.2.0 и пытаюсь запустить простое приложение в Docker-контейнере, и я внес...
У меня проблема с приложением Spark.Вот упрощенная версия моего кода: def main(args: Array[String])...
У меня есть кластер, в котором мы настроили hadoop со встроенной искрой.Версия spark - это spark v2
Веб-интерфейс диспетчера ресурсов YARN имеет столбец «Ход выполнения».Это значение не обновляется...
Дорогие друзья и коллеги у нас есть кластер ambari с версией hadoop - кластер 2.6.4 включает в себя...
Приложение My Spark считывает набор данных из базы данных JDBC, перепечатывает его с...
Я пытаюсь запустить pyspark на yarn-client, не уверен, что может быть причиной, и не может...
В моей работе Spark я читаю некоторые дополнительные данные из файлов ресурсов. Некоторые примеры...
Я начинающий со Spark, Hadoop и Yarn.Я устанавливаю Spark с: https://spark.apache.org/docs/2.3.0/ и...
Во время выполнения моей искровой задачи диспетчер узлов потерпел крах из-за того, что менеджер...
У нас есть запрос, запущенный нашей командой разработчиков, который требует значительных ресурсов и...
У меня есть настройка кластера с одним драйвером и двумя исполнителями, работающими в режиме пряжи
Когда я выполняю запрос куста через hue на пряжу, кажется, что оттенок не синхронизирован с пряжей,...
Моя команда Spark / Scala: spark-submit --class <package_name>.TestConfig --master yarn...
Я работаю над приложением, которое я перенес с spark 1.6 (scala 2.10.5) на spark 2.1 (scala 2.11.8)
Я задал похожий вопрос некоторое время назад и подумал, что решил эту проблему, но оказалось, что...
У меня есть работающая настройка кластера Hadoop с поддержкой Yarn, и я создал отдельное приложение...
У меня есть кластер hadoop (HDinsight).Я хочу автоматически масштабировать кластер в зависимости от...
Я в настоящее время использую Ubuntu, и тот же самый искровой запрос успешно выполняется на моей...