Как я могу установить версию Hadoop для приложения Spark, не отправляя jar и не определяя...

Я использую потоковую структуризацию с искрой, где мне нужно взять значение из второй строки окна....

Я пытаюсь прочитать файл последовательности с пользовательскими записываемыми подклассами для обоих...

У меня есть такие данные....

Я читаю xml-файл, используя зависимость databricks-spark-xml в scala-spark (intellij). Я...

Я хочу использовать Guice Dependency Injection с Akka Actors. Документация Akka, здесь , предлагает...

Я использую библиотеку Smile в Scala (аналогичная история в Java) для вычисления модели линейной...

Я выполняю простую агрегацию сумм в Spark на фрейме данных, где ранее была применена оконная...

Проблема ротации журнала Spark-Scala, невозможно создать внешний журнал: Невозможно создать ротацию...

У меня проблема с пониманием того, как метод get работает в rdd Может кто-нибудь помочь мне узнать,...

Я пытаюсь запустить отправку искры в кластере.Загрузка данных в hbase успешно выполнена, но я...

Учитывая строку типа «Яблоко упало с дерева», как мне разбить его так, чтобы к каждому слову...

Я пытался создать небольшой макрос, чтобы изолировать другую проблему, с которой столкнулся, и...

Я пытаюсь декодировать строку вида «5m» или «5s» или «5ms» в объекты типа FiniteDuration, которые...

Учитывая следующий код: def timed[T](fn: => T): (T, Long) = { val startTime = System

Проблема с ошибкой ниже, [ошибка] в scala.tools.nsc.typechecker.Typers $ Typer.typedApply $ 1...

Я использую <dependency> <groupId>org.apache.kafka</groupId>...

Есть ли способ фильтровать или маркировать строки на основе массива Scala? Имейте в виду, что в...

Я читаю некоторые данные из parquet file с помощью spark, используя scala и dataframes, и пытаюсь...

Скажите, у меня есть следующее: class A { def foo() = { println("foo") } } case class...

Я пытаюсь реализовать какую-то функцию в суперклассе, поэтому мне не всегда нужно повторять ее в...

Я пытаюсь прочитать файл Avro из HDFS, используя Spark, однако получаю исключение.Файл существует в...

StackOverflow имеет несколько ответов о том, как обновить вложенные столбцы в кадре данных.Однако...

Почему я получаю эту разницу в аннотациях типов в следующих сценариях.Для сценария 1 case class...

У меня плоский фрейм данных с 5-6 столбцами. Я хочу вложить их и преобразовать во вложенный массив...