Из-за риска получить отрицательный голос, я должен попросить помощи по этой ошибке.Я запускаю...

Мое искровое приложение, которое работает на кластере пряжи, упало, и я пытаюсь определить основную...

У меня есть сценарий использования, в котором есть таблица с одним столбцом, которая имеет...

Какая принципиальная разница с использованием .GroupByKey и .GroupBy, когда я использую имя столбца...

Предположим, у нас есть три искровых задания, скажем, S1, S2 и S3. Я хочу настроить эти два задания...

Надеюсь, что кто-то может помочь с ошибкой, с которой мы столкнулись. Обзор: Наш кластер является...

Я пытаюсь писать / читать из / в Ignite в приложении Spark.Кажется, что и чтение, и запись работают...

Перво-наперво, надеюсь, я правильно форматирую свой вопрос. У меня есть этот фрейм данных: df = sc

Я принимаю потоковые данные в hbase.Я предварительно разделил таблицу HBase по разделам Kafka

В документации по https://spark.apache.org/docs/latest/structured-streaming-programming-guide

Я пытаюсь использовать широковещательное соединение, но в Spark 2.3 появляется ошибка ниже.Тем не...

Когда я запускаю Spark на Yarn, я понимаю, что задания могут превышать свою квоту ресурсов в тихое...

У меня есть объект Row, который содержит один из столбцов типа DateType. Я извлекаю значения...

Как убить работающий процесс spark-submit?Я пытаюсь написать скрипт для этого, но не знаю, как...

У меня есть СДР, как показано ниже: val rdd1 = sc.parallelize(Array((1,2),(2,3),(4,5),(5,2),(4,3)))...

Я новичок в Scala и мне нужна помощь, чтобы выяснить, как подсчитать вхождение значений пары ключей

Я пытаюсь автоматизировать и загружать случайные данные в пустой фрейм данных, используя spark...

Таким образом, компания, в которой я работаю, имеет собственную систему метаданных для управления...

spark2-shell import org.apache.hadoop.hbase.HBaseConfiguration import org.apache.hadoop.hbase

Я пытаюсь преобразовать DStream [Array [Byte]] в DStream [String], но получаю сообщение об ошибке:...

У меня есть один фрейм данных, который имеет много столбцов почти 50 плюс (как показано ниже),...

код, подобный этому, хочет использовать mlib / FPGrowth от pyspark, но имеет проблему из-за ошибки...

Я (впервые) пытаюсь перераспределить данные, с которыми работает моя команда, для повышения...

У меня есть работающий кластер Spark 2.3.1, размещенный на https: azuredatabricks.net, я создал...

Должна ли кучная память (xmx на ps) всегда быть больше, чем память исполнителя / драйвера для...