Я хочу преобразовать пустые значения, вложенные в массив строк, в пустые строки в искре.Данные...

Итак, у меня есть данные со значениями, которые нужно сложить вместе, а затем поместить в формат...

Я пытаюсь отобразить значения одного столбца в моем фрейме данных на новое значение и поместить его...

ребята, у меня есть эта пользовательская функция, чтобы проверить, являются ли строки текста...

У меня есть файл CSV, содержащий несколько слов. Всего № слов в файле csv не будет превышать 50 тыс

Впервые в Scala. Я создал функцию подстроки в scala, которая требует "pos" и "len", я хочу, чтобы...

Я пытаюсь отделить свою логику в приложении spark .Я создал отдельный класс для определений UDF и...

Я пишу UDF scala, который берет значения из столбца и проверяет, существуют ли конкретные значения...

У меня есть искровой фрейм с 40+ столбцами. и миллионы строк. Я хочу создать еще один столбец, в...

Я не могу отправить каждую группу данных за один раз исполнителю. У меня есть данные как в...

Хорошо, Я работаю с платформой spark в Scala.Мой фрейм данных имеет столбец со следующей структурой...

Это должно быть тривиально - но я что-то упускаю: import org.apache.spark.sql._ import org.apache

Я знаю, как передать структуру с внутренней структурой в UDAF из этого - Передать структуру в UDAF...

У меня есть следующая схема - root |-- id:string (nullable = false) |-- age: long (nullable = true)...

Я хочу выполнить сессионную обработку потока кликов для фрейма данных spark.Давайте загрузим фрейм...

Я новичок в Spark и Scala. Я создал DataFrame из CSV в Spark.В сгенерированном DataFrame есть...

У меня есть поле DataFrame, которое является Seq[Seq[String]] Я построил UDF для преобразования...

У меня есть следующий блок кода Scala как часть моего конвейера обработки данных.Насколько я...

У меня есть плоский фрейм данных (df) со структурой, как показано ниже: root |-- first_name: string...

У меня есть пример, я хочу создать Dataframe в UDF.Нечто похожее на приведенное ниже import org

В принципе, у меня есть DataFrame, который состоит из "Имя" и "Значения" полей. Первое поле -...

Учитывая список диапазонов дат, некоторые из которых перекрываются: val df = Seq( ("Mike"...

Я использую Spark 2.3.Я хочу преобразовать столбец features в следующем фрейме данных из ArrayType...

Я столкнулся со следующей проблемой при работе с udf в spark.Он прекрасно работал, когда я запускал...

Использование Spark SQL 2.3 и Java-файла.Не используя БД.Создал java udf в отдельном классе и...