У меня есть RDD, в котором у меня есть слово и его векторное представление. Я последовал следующему...

Я получаю zip-архив «2018-06-26.zip» каждый день размером примерно ок. Сжатый 250 МБ, содержащий...

Я использую Spark Structured Streaming (2.3) для записи данных паркета в контейнеры в облаке...

Я использую Spark 2.3.0 и у меня есть два фрейма данных. Первый, df1, имеет схему: root |-- time:...

У меня проблема с отправкой сериализованного XML в мою тему Kafka. Всякий раз, когда я запускаю...

Я пытаюсь запустить этот проект , я добавил зависимость в файл sbt, Мой файл sbt выглядит так: name...

В настоящее время я испытываю странное исключение при тестировании моего приложения Scala - Spring...

У меня проблема с широковещательной переменной при интеграции kafka и spark streaming. Если я не...

Я новичок в Spark DataFrame. У меня есть текстовый файл с такими данными, как schoolid,classid...

Я пытаюсь прочитать поток из kafka, где значение представляет собой строку значений, разделенных...

У меня есть 3 таблицы, которые определены как 3 тематических класса. Продавец и покупатель имеют...

У меня следующая ситуация: У меня есть датафрейм с массивом в качестве схемы. Теперь я хочу...

Я пытаюсь сделать простой stream.leftJoin(table), но получаю следующее исключение во время...

Я пытаюсь прочитать таблицу Oracle, используя spark.read.format, и она прекрасно работает для всех...

Если у меня есть RDD[(Int, Array[Boolean])], как я могу объединить значения из каждого набора?...

Поскольку мне нравилось программировать на Scala, для моего интервью в Google я попросил их задать...

У меня есть два набора данных с миллионами строк. Образец выглядит так: Набор данных 1: Row col1...

Я пытаюсь понять странное поведение, которое я наблюдал в своем потоковом приложении Spark,...

Кто-нибудь знает, что соответствует LocalTableScan в Spark Structured Streaming? Я пытаюсь понять...

Взгляните на ML Tuning: перекрестная проверка У меня есть некоторые сомнения по поводу того, как...

Я немного новичок в Spark ML API. Я пытаюсь сделать мульти-ярлычную классификацию для 160 ярлыков,...

почему эта компиляция: def foo() : Iterable[URI] = { Some("") .map(URI.create) }

У меня есть датафрейм с 3 столбцами - число (целое число), имя (строка), цвет (строка). Ниже...

Я пытаюсь запустить некоторые тесты на моей локальной машине с потоковой структурой с искрой. В...

У меня есть метод в программе scala, который создает Map [Tuple2 [String, String], Int], но он...