У меня есть JSON в столбце Spark DataFrame следующим образом: ID| Text| JSON...

С dplyr R я бы вычислил дисперсию между группами следующим образом: df %>% group_by(group)...

у нас есть два кадра данных, и нам нужно отфильтровать данные в одном кадре данных с данными в...

У меня есть Dataframe со следующей схемой: root |-- id: long (nullable = true) |-- ... (other...

Я выполняю перекрестную проверку spark ml с помощью regParam для логистической регрессии как части...

На странице загрузки scala сказано, что у вас должен быть установлен JDK 1.8.О новых версиях JDK...

У меня есть папка на HDFS, в которой по какой-то причине содержатся неполные файлы с запятыми в...

Использование spark-shell v1.6. Большие различия при загрузке класса def и объекта-компаньона в...

Когда я пытаюсь запустить свой sbt, происходит сбой с определенными ошибками, которые мешают...

Я использую приемник для сохранения Spark (2.3) Структурированного потокового фрейма данных в...

Впервые в Scala, которая, вероятно, является причиной моей проблемы здесь! Я заинтересован в...

Я новичок в оконных функциях Spark.Я реализую несколько примеров, чтобы узнать больше об этом

Я изо всех сил пытаюсь найти решение для сценария.У меня есть несколько файлов в каталоге.скажем,...

Я читаю Документация Monix о наблюдателях и я столкнулся со следующим примером: Или вы можете...

У меня есть Spark Dataframe с 10 столбцами, и мне нужно сохранить его в Postgres / RDBMS.Таблица...

Моя цель состоит в том, чтобы подготовить в spark / Hadoop информационный фрейм, который я буду...

Я создаю таблицу кустов из scala, используя следующий код: val spark = SparkSession .builder()

Когда я запускаю свой код в локальном коде, он работает нормально.Однако, когда я запускаю его в...

Я изо всех сил пытаюсь создать udf для извлечения некоторых данных столбца.Столбец хитрый,...

У меня есть следующий код для чтения и обработки данных Kafka с использованием структурированной...

У меня следующая ситуация: + Module A L Library 1.0 + Module B L Module A L Library 2.0 Предположим...

У меня есть фрейм данных (df) со следующим: +---------+--------------------+ | col1| col2 |...

У меня есть CSV, который выглядит следующим образом:...

Мой фрейм данных выглядит так: df.schema приводит к: StructType( StructField(a,StringType,true),...

У меня есть такой код с многострочным запросом val hiveInsertIntoTable = spark.read.text(fileQuery)