Создан один проект «spark-udf» и письменный улей udf, как показано ниже: package com.spark.udf...

я хочу сделать функцию параметром построения класса. У меня есть некоторые функции, которые я хочу...

У меня есть сервис, написанный на Scala, который использует scalaz.Reader для DI и тест для него. В...

Я пытаюсь прочитать файл паркета из папки hdfs, выполнить некоторые преобразования и перезаписать...

Я использую следующий код, чтобы изменить форму информационного кадра, используя его строки для...

Существует много способов проверить схему двух фреймов данных в искре, например здесь . Но я хочу...

Мне пришлось реализовать пакет Windowing, ориентированный на события, с различным количеством имен...

Можно ли использовать дженерики в инфиксных нотациях Scala? Например: // Example from play-json...

Есть много хороших библиотек для записи / чтения кейсов Scala в / из CSV-файлов. Я ищу что-то, что...

Я создал фрейм данных, прочитав таблицу RDBMS из postgres, как показано ниже: val yearDF = spark

Я хотел бы создать Row с несколькими аргументами, не зная их числа. Я написал что-то вроде этого в...

Я пытаюсь загрузить данные из API Европейского центрального банка. Простой завиток работает...

Я новичок в Spark, и у меня есть проект, в котором cluster есть *1003*, который собирает данные из...

Я использую Vegas на IntelliJ для построения диаграмм из кадров данных Spark. Поскольку я не...

У меня есть данные в двух текстовых файлах как file 1:(patient id,diagnosis code)...

У меня следующий алгоритм: чтение из CSV-файла в отказоустойчивом режиме с указанной схемой. Если...

Предположим, я использую partitionBy для сохранения некоторых данных на диск, например, по дате,...

У меня проблемы с заменой, используя lightbend config library. У меня есть файл application.conf с...

Я знаю, что этот вопрос задавался много раз на Переполнении стека и был удовлетворительным ответом...

Насколько я понимаю, структурированная потоковая передача Spark основана на Spark SQL, а не на...

Я пытаюсь написать udaf для вычисления значений percentile. Мне нужно написать пользовательскую...

Интересно, есть ли способ указать размер мини-партии в структурированной потоковой передаче Spark....

Я выполняю объект scala в блокноте zeppelin следующим образом, но получаю ошибку.

У меня есть следующая функция нормализации: ... private def NormalizeValues(dataValues: Array...

Эй, ребята, я пытаюсь отправить значение для пользователя, если он вошел в систему, и я не выполняю...