У меня есть программа Spark, в которой каждый узел-исполнитель обрабатывает некоторые части моего...

У меня есть искровой фрейм данных со столбцом двоичной строки.Я хочу добавить столбец в фрейм...

Моя цель - элегантно сопоставить несколько шаблонов регулярных выражений с одной и той же строкой.Я...

У меня есть фрейм данных Spark с десятичным столбцом.Я хочу преобразовать этот столбец в двоичную...

У нас есть хранилище с одним местом для каждого продукта.Каждый заказ содержит набор продуктов.У...

Я сталкиваюсь с проблемой вычисления суммы элементов в Scala с одинаковым названием (мой ключ в...

Попытка чтения / записи из / в красное смещение (данные в s3).Но получая странную ошибку при...

Я использую scalaVersion := "2.10.5" и libraryDependencies += "org.rogach" %%...

Итак, у меня есть следующий класс дел case class Order(itemName: Option[String], quantity:...

У меня есть датафрейм, как показано ниже...

У меня есть такая таблица: |``````````````````````````| |imgId, pageId, isAnnotated| |1, 1, true |...

Slick возвращает результат в запросах DML, выдает исключения при выполнении действий по созданию...

Я очень новичок в FS2 и мне нужна помощь по поводу дизайна.Я пытаюсь создать поток, который будет...

У меня есть опечатка (потому что я не хотел, чтобы она была там) в моем коде scala, и я не могу...

как я могу разобрать этот тип JSON с Spray-JSON?Как объект guid входит в класс case или мне нужно...

Когда я запускаю приложение Play Scala 2.6 с включенной интернационализацией, страница отображается...

У меня есть код Scala, который я запускаю в spark-shell, чтобы извлечь данные из файлов json и...

Я пытаюсь сопоставить шаблон с логическим значением.Я написал тот же метод с небольшой модификацией...

Мне нужно выполнить операцию сравнения (например, больше или меньше) для двух столбцов,...

По сути, я выполняю 'groupbyKey' с последующим преобразованием 'mapGroups' на фрейме данных spark

Я пишу следующий код в Spark с API DataFrame. val cond = "col("firstValue") >= 0

Если я клонирую этот гист: https://gist.github.com/jamiekt/cea2dab3ea8de91489b31045b302e011 , а...

Я написал scala-скрипт для подсчета слов в текстовом файле и сохранил его в домашнем каталоге.Как я...

val num_idf_pairs = rescaledData.select("item", "features") .rdd.map(x =>...

Я в основном использую пример, приведенный в документации Spark здесь со встроенным тестовым...