У меня есть список, который содержит кортежи String list = [("A", "B"),...
Я пытаюсь понять, почему не возникнут проблемы с сериализацией при выполнении этого фрагмента кода....
Мне известно, что для создания RDD у нас есть 2 способа: Распараллелить существующую коллекцию в...
У меня есть датафрейм (dateds1), который выглядит следующим образом,...
У меня есть файл с некоторыми записями. 1,1,957,1,299.98,299.98 2,2,1073,1,199.99,199.99 3,2,502,5...
Я хочу использовать следующий rdd rdd = sc.parallelize([("K1", "e", 9),...
У меня есть две таблицы -> table1: RDD [Rating] (rdd1, rdd2, rdd3) и table2: scala.collection.Map...
Я пытаюсь найти ситуации, в которых Spark пропустил бы этапы, если я использую RDD. Я знаю, что он...
Предполагая, что у меня есть RDD. Я устанавливаю количество разделов RDD равным 5. Я хочу выбрать...
У меня есть объект rdd (созданный из текстового файла), и я создаю другой объект rdd путем...
У меня есть набор данных / рейтингов фильмов, и мне нужно рассчитать среднее значение рейтингов по...
У меня есть CSV-файл с информацией о рейсе: 10397,ATL,GA,10135,ABE,PA,692,188 10397,ATL,GA,10135...
Вот фрагмент кода from operator import add iris1 = sc.textFile("./dataset/iris_site.csv")...
У меня есть две искры rdd: RDD1: RDD [(String, String, Int)] и RDD2: RDD [(String, String, Int)] *...
Я выполняю простое упражнение, чтобы рекомендовать новых друзей на основе граничного списка общих...
Ошибка здесь: org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage...
Я создаю приложение, используя Scala , и я изо всех сил пытаюсь понять некоторые вещи. Мой первый...
Оптимизирует ли Spark DAG при обнаружении действия? Мне известно, что DAGScheduler конвейерно...
Я загрузил текстовый файл и применил преобразование (фильтр), но не получил ожидаемый результат
Я написал скрипт на ноутбуке Jupyter для чтения СДР и выполнения операций. Скрипт отлично работает...
Я какое-то время кувыркаюсь над этим - буду очень признателен за любые предложения! Извините за...
Я хочу реализовать Java-приложение Spark, которое выполняет выборку с некоторыми фильтрами для...
Вот мой код в файле scala val data = List("cdn.resized-images.covethome.com") val dataRDD...
У меня HMP набор данных . Этот набор данных содержит 14 различных папок (категорий), и в каждой...
Я новичок в Scala и пытаюсь выяснить, как сдвигать элементы в СДР. Я читаю пары из файла CSV: var...