Когда я запустил свой искровой код: val sqlContext = spark.sqlContext val noact_table =...

Spark Streaming API предоставляет различные способы чтения данных.Некоторые примеры: Кафка, Flume,...

У меня есть потоковая передача данных датчика, где данные сохраняются в S3, разделенные по времени...

Проблема: предсказания pyspark.ml.regression.RandomForestRegressor по умолчанию являются...

Я пытаюсь разработать интеграционное тестирование.Я буду запускать несколько jar-файлов, написанных...

Я обновил версию spark с 1.6 до 2.1.1.Я обновил версию Java и версию Scala.Но когда я запускаю...

У меня есть две почти идентичные записи в БД.заявление scala, однако одно выдает мне ошибку, другое...

Я пишу программу для приема данных.Для чтения из Kafka в DStream разделите Dstrem на 3 потока и...

Когда у меня есть несколько этапов агрегации, каждый этап использует выходные данные последнего...

Я внедряю Spark Streaming Application, где приложение работает в режиме 24/7 для каждого входящего...

Я новичок в Spark и Scala, поэтому, пожалуйста, прости нубизм.У меня есть текстовый файл в...

Я включил свойство "spark.parquet.strings.signed-min-max.enabled" для работы с искрой.При проверке...

У меня есть DataFrame, который я пытаюсь partitionBy столбца, отсортировать его по этому столбцу и...

У меня есть два числа в виде RDD[(String, Array[(String, Array[String])])].У меня есть данные в них...

Я получаю данные из файлов .csv, а затем регистрирую df как TempView.После этого я пытаюсь записать...

У меня есть поток текста, который может содержать эмодзи.Мне нужно извлечь его в массив в масштабе,...

У меня есть датафрейм, как показано ниже type f1 f2 value 1 a xy 11 2 b ab 13 3 c na 16 3 c dir 18...

Использование блоков данных spark, способных записывать данные в снежинку с использованием...

Я использую приведенный ниже код, как показано на снимке, для преобразования RDD [(Int, String)] в...

В python или R есть способы нарезать DataFrame с помощью индекса. Например, в pandas: df.iloc[5:10...

Когда мы создаем RDD с использованием функции textFile на основе HDFS, он создает разделы в...

У меня есть два набора данных данных временных рядов. Мне нужно суммировать эти два набора данных,...

Я использую Rstudio, когда я запускаю свой код, я сталкиваюсь со следующей проблемой:...

Я изучаю, как использовать spark и scala, и пытаюсь написать программу scala spark, которая...

Когда дата представляет собой строковую функцию SparkR to_date правильно преобразовывает ее в...