Мне нравится писать функцию, которая обрабатывает перекос данных при объединении двух наборов...

Я ищу эффективный метод, способствующий параллелизму в искре, который сравнивает слова в двух...

У меня есть одно требование, когда часы в переменной в строке берутся как «2315», и мне нужно минус...

Я хотел создать кросс-платформу sbt (приложение Hello world), включая JVM, Scala Native, Android и...

Мне нужна ваша помощь, чтобы решить проблему.Что я хочу сделать ?Я хочу иметь HTML-страницу, где...

У меня есть набор данных train и test с функциями и несколькими тысячами значений customerId.Моя...

Я использую Spark Structured Streaming для классического варианта использования: я хочу прочитать...

У меня есть такой набор искровых данных: +--------+--------------------+ | uid| recommendations|...

У меня есть много CSV spark.readStream в разных местах, я должен проверить все их с помощью scala,...

Последние обновления pureconfig в серии 0.10.* отключили автоматическую настройку по умолчанию....

У меня есть фрейм данных scala, который выглядит следующим образом: +--------+--------------------+...

Это должно быть тривиально - но я что-то упускаю: import org.apache.spark.sql._ import org.apache

Я хочу вывести SparkMetrics в сток CSV.Я настроил metrics.properties следующим образом: driver.sink

Я пытаюсь понять дельту блоков данных и думаю сделать POC, используя Кафку.По сути, планируется...

Я хочу реализовать в Scala строку JSON, которая выглядит следующим образом в методе toJSON: ""...

Я из Java baackground и изучаю Spark с использованием Java.Я хотел бы знать, можем ли мы...

У меня есть данные, которые выглядят следующим образом ... +-----------+--------------------+ |...

У меня есть массив произвольной длины [String], например: val strs = Array[String]("id"...

Я хотел бы использовать свойство параллелизации spark для параллельного вычисления нескольких...

Как мне прочитать стек сериализации? Я создаю распределенное приложение NLP поверх Spark.Я...

На основе этих 4 столбцов (db_name, tb_name, column_name, latest_partition) мне нужны все дубликаты...

В настоящее время я работаю над переносом таблицы кустов.Проблема, с которой я сталкиваюсь,...

Когда я пытаюсь сделать что-то подобное в Spark: val replicas = 10 val dsReplicated = ds flatMap (a...

Я пытаюсь построить матрицу различий, используя искру, и не понимаю, как это сделать оптимально.Я...

Я определил: final case class EventOpt(start: Option[Long], end: Option[Long]) final case class...