Я новичок в аккумуляторах в Spark.Я создал аккумулятор, который собирает информацию о сумме и...

У меня есть довольно простая черта и некоторые объекты case, которые ее расширяют.Ничего...

У меня есть следующий фрейм данных Scala Spark df из (String, Array[Double]): Примечание id имеет...

У меня есть следующие сценарии: case class attribute(key:String,value:String) case class...

Мне нужно добавить новый столбец в фрейм данных с логическим значением, оценивая столбец внутри...

У меня есть 2 входных файла (один в JSON, а другой в паркетном), я пытаюсь объединить эти 2 больших...

У меня есть фрейм данных Scala Spark (переменная df): id, values "a", [0.5, 0.6]...

Я пытаюсь загрузить файл scala из файловой системы в оболочке spark, используя: : загрузить «путь к...

Я читаю данные из S3 с использованием Spark Streaming и хочу обновить потоковые данные в Amazon...

Я реализовал Spark Structured Streaming, и для моего случая использования я должен указать...

У меня есть тема, в которую поступает поток данных.Мне нужно создать отдельную тему из этой темы,...

Я пытаюсь использовать API структурированной потоковой передачи для подключения к кластеру Kafka,...

Что мне нужно сделать? Создать схему для DataFrame, которая должна выглядеть следующим образом:...

У меня есть несколько команд оболочки, которые динамически генерируются в моем скрипте scala, как я...

У меня проблема с матрицами в Spark. Предположим, у меня есть RowMatrix с именем X, например: 0.5 0

У меня есть m2 СДР, состоящий из case class Medication(patientID: String, date: Date, medicine:...

Я очень новичок в Scala и пытаюсь написать UDF, который позволит мне сделать выборку из...

Я работаю над типизированным приложением akka и по какой-то причине мне нужно использовать...

У меня есть 2 больших фрейма данных, edge и vertex, и я знаю, что они должны быть в специальных...

Я выполняю некоторый код в рабочем процессе oozie с именем действия WF1 с именем AC1 .. Этот...

У меня есть прото-файлы и сгенерированные классы Scala с использованием ScalaPB .Вывод выглядит...

Я выполняю классификацию изображений, используя фреймы данных spark растровые кадры .Я использую...

У меня есть Scala Spark DataFrame: id, content 1, "<p>Some paragraph</p>" 2,...

У меня есть два класса дел, Пользователь 1 -> N Ключевое слово , и я хочу запросить и обновить с...

Я новичок в Spark, мой пример использования - обработать файл 100 Гб в spark и загрузить его в куст