У меня есть требование упорядочить значение столбца и сгруппировать другой столбец в кадре данных....

Я пытаюсь сгенерировать fat-jar (со сборкой sbt), а затем отправить его на spark, используя...

код val rdd = sc.textFile("file:///C:/Naresh/data/ghgh").map(f =>"select count...

Я пытаюсь удалить нижний колонтитул из файла во время чтения файла. есть ли такая опция, как...

У меня уже есть простое отображение запросов Служба MVC , работающая на локальном хосте. Он имеет 5...

У меня есть неявный класс для добавления определенной функции для класса case, например: case class...

Я новичок в Scala. Я много гуглил, но нашел только, как перемещать файлы в Java. Я пытался...

val arrayInt = Array(1, 2) преобразуется в фабричный метод Array.apply(1, 2) , который работает, так...

Я пытаюсь добавить несколько маршрутов, используя самый простой способ, который я нашел с помощью...

У меня есть набор фреймов данных, dfs, с другой схемой, например: root |-- A_id: string (nullable =...

Я пишу алгоритм Spark, чтобы получить топ-k ключевых слов для каждой страны, теперь у меня уже есть...

Допустим, у меня есть эти две модели: case class Department(id: Long, title: String) case class...

Я довольно новичок в пространстве Pyspark, и я сталкиваюсь со следующей ошибкой, когда пытаюсь...

Я хочу найти эффективный способ подсчета вхождений элемента в список, расположенный на...

Я пытаюсь запустить пользовательскую функцию параллельно для некоторых параметров, хранящихся в RDD...

Я пытаюсь создать планировщик в Java play Framework 2.5.10, где я хочу выполнять задачу каждые 15...

Я использовал 20 миллионов наборов данных Movielens, которые содержат файл с именем rating .csv...

Я пытаюсь найти общий способ (без использования конкретного класса case в Scala) для анализа Spark...

У меня есть проект Scala Maven, и я хочу получить банку с зависимостями. То, что я получаю, это 2...

Неявные кодеры, предоставляемые Spark, позволяют легко получить кодеры для последовательностей...

Мой входной DataFrame выглядит следующим образом: +-------+ |Column1| +-------+ |FILE_1 | |11 | |12...

В Scala Spark, учитывая отсортированный набор данных S и B, выберите пары S и B с минимальным...

Я получаю это исключение при запуске задания на искру: Exception in thread "main" org

У меня есть требование применить некоторую логику к разным строкам кадра данных и создать новый...

Я хочу реализовать функцию udf в scala, где схема вывода функции udf изменяется в соответствии со...