Я запускаю простую программу подсчета слов на одном узле, используя Hadoop.Но когда я пытаюсь...

Я запускаю искру в режиме кластера, поверх YARN.Цель состоит в том, чтобы запустить Spark-Bench...

Я новичок в искре.Я хочу отправить искровое задание из локального в удаленный кластер EMR.Я...

service-data - необязательное поле, которое можно передать в am-container-spec.Но я не могу найти...

Когда я пытаюсь прочитать файл паркета из указанного места, например / test, с помощью spark.read

Я хочу запустить тест tpc-h с искрой на вершине пряжи, я могу генерировать данные, но не используя...

Я запускаю код pyspark на HDIcluster и получаю эту ошибку: Код не выполнен из-за неустранимой...

У меня довольно простая искровая работа, которая объединяет несколько наборов данных. Код примерно...

Я хочу убить искровую работу программно. Ниже приведен сценарий: Когда я убиваю искровую работу с...

Я пытаюсь изменить промежуточный каталог Spark, чтобы предотвратить потерю данных при выводе...

Я пишу приложение для структурированной потоковой передачи Spark, в котором данные, обрабатываемые...

Я пытаюсь запустить приложение pyspark в режиме кластера с помощью следующей команды spark-submit...

Я пытаюсь выяснить, как перезапустить задание запуска, когда оно завершается неудачно с ненулевым...

Мы используем HUE для выполнения запросов улья, так как мы знаем, что в панели HUE пользователь...

Я ссылался ниже на ссылки и сделал те же изменения https://aws.amazon

У меня есть 3-х узловый кластер hadoop (капли DigitalOcean): hadoop-master настроен как namenode и...

Я запускаю искровое задание в режиме кластера пряжи и не могу сохранить журналы в файле.Я использую...

Я новичок в Spark и изучаю архитектуру.Я понял, что spark поддерживает 3 менеджера кластера, таких...

Если мы зарезервируем 80% памяти для пряжи, а затем по какой-то причине допустим утечку памяти,...

Я пытаюсь использовать dask-yarn для распределения заданий Python в кластере. Я использую следующий...

Вот мои результаты jps на главном узле. NameNode SecondaryNameNode И вывод подчиненного узла jps...

Все подчиненные узлы в кластере пряжи отслеживают блоки в hdfs blk_1073742325_1505.meta....

У меня есть кластер из 3 узлов в AWS (1 ведущий и 2 ведомых) Конфигурации: мастер (8 vCPU, 16 ГБ)...

Простое потоковое приложение Spark без каких-либо значительных вычислений в памяти потребляет 17 ГБ...

Мы видим очень медленную фазу копирования: reduce > copy...