Когда я запустил свой искровой код: val sqlContext = spark.sqlContext val noact_table =...
Я новичок в Spark и Scala, поэтому, пожалуйста, прости нубизм.У меня есть текстовый файл в...
У меня есть два числа в виде RDD[(String, Array[(String, Array[String])])].У меня есть данные в них...
Когда мы создаем RDD с использованием функции textFile на основе HDFS, он создает разделы в...
Я изучаю, как использовать spark и scala, и пытаюсь написать программу scala spark, которая...
У меня есть два RDD, к которым я хочу присоединиться - salesfromSource1: RDD[(String, List[Sale])]...
Я определил функцию: def setJsonPushIndex(spark: SparkSession, currentdate: String, jsonPushInfo:...
У меня есть файл avro, я хочу проверить его схему с файлом данных, чтобы выполнить проверки, такие...
У меня есть набор данных кода Python, который я пытаюсь запустить через Word2Vec. sc =...
У меня есть парный RDD, который выглядит как (a1, (a2, a3)) (b1, (b2, b3)) ... Я хочу сгладить...
Я хочу распространить rdd, используя карту списка. входная выборка Log("key1",...
Нам нужно контролировать огромный набор данных с помощью Spark.Элемент управления состоит из...
У меня есть два пользовательских класса RDD, и я знаю, что они имеют некоторое пересечение, но...
Добрый день всем.Я попытаюсь объяснить мою проблему, чтобы вы могли понять меня. В нескольких...
У меня есть RDD[Sale] и хотелось оставить только последние продажи.Итак, я создал пару RDD, а затем...
У меня есть следующий СДР: Col1 Col2 "abc" "123a" "def"...
Ниже приведены мои примеры данных: 1,Siddhesh,43,32000 1,Siddhesh,12,4300 2,Devil,10,1000 2,Devil...
У меня есть набор данных в формате RDD, где каждая запись - Array[Array[String]].Каждая запись...
Я пытаюсь прочитать простой текстовый файл в Spark RDD и вижу, что есть два способа сделать это:...
Tachyon - это распределенная система хранения в памяти, разработанная отдельно от Spark, которая...
У меня есть RDD с идентификатором в качестве ключа и массивом значений в качестве значений. Для...
Я учусь о Hadoop и Spark и попал в одно сомнение.Пожалуйста, помогите мне уточнить, что. Hadoop...
У меня есть СДР в виде СДР [((ID, код), значение)] Пример СДР: ((00001, 234) 7.0) ((00001, 456) 6
Я изучаю концепции RDD в деталях, и однажды я запутался.Допустим, я применяю функцию 3 map вплотную...
У меня есть приведенный ниже RDD, t1RDD2, присутствуют только первые пять строк: (000471242-01...