Я пытался загрузить spark-core и spark-sql в файл build.sbt: name := "spark Test App"...

У меня есть Pair Rdd[(Int, Array[Double])], и я хочу, чтобы каждый ключ вычитал все другие массивы...

Как использовать искровой SQL-фильтр в качестве чувствительного к регистру фильтра на основе...

Поскольку я нигде не нашел решения своей проблемы, я думаю, что мог бы думать в очень неправильном...

Рассмотрим следующий фрагмент кода: def foo(a: Int)(b: Int) = a + b foo Он не компилируется и...

Я немного тренируюсь в Spark и задаюсь вопросом об оптимизации одной из моих задач.Цель проста:...

Вот мой текущий код: pipe_exec_df_final_grouped = pipe_exec_df_final

Мне нужно извлечь и преобразовать из большого набора данных некоторую информацию, которая...

Я не могу получать сообщения в msgItr, где, как и в командной строке, используя команды kafka, я...

У меня есть потоковые данные, поступающие из кафки в dataFrame.Я хочу удалить дубликаты на основе...

Похоже, есть три (или более) способа ограничить, какие классы могут смешиваться с данной чертой...

У меня есть такой файл ввода: The Works of Shakespeare, by William Shakespeare Language: English ,...

Я имел в виду Как разбить массив на несколько столбцов в Spark для аналогичной необходимости. Я...

Как можно обрабатывать пустые значения при обращении к значениям Row?Действительно ли исключение...

У меня есть приложение Scala, которое нужно прочитать в файле Yaml и загрузить в класс дел Scala.Я...

Итак, я пытаюсь построить свой проект в Maven и получаю эту странную ошибку во время компиляции

У меня есть искровой фрейм со следующим форматом, который нужно разбить.Я проверяю другие решения,...

Я пытаюсь выяснить, как указать слику использование определенного размера выборки, но не могу его...

У меня есть кое-что, что, на мой взгляд, было бы простым, но затем я столкнулся с проблемой,...

Я пытаюсь объединить несколько объектов JObject в один объект JObject.У меня есть список объектов...

Как создать / смоделировать кадр данных Spark Scala с классом дел, вложенным в верхний уровень?...

У меня есть следующие данные: group_id id name ---- -- ---- G1 1 apple G1 2 orange G1 3 apple G1 4...

Я написал макрос, который читает поля класса: import scala.language.experimental.macros import...

Я написал приведенный ниже искровой скала-код, в котором я пытаюсь внедрить искровую Cassandra API

Как мне установить размер threadPool в слике? Вот мой конфиг: pp { profile = "slick.jdbc