У меня есть данные json, в которых еще один json имеет поле в виде строки, поэтому я хочу...

Я пытаюсь прочитать данные с SQL-сервера для обработки с использованием Spark.Я использую Zeppelin...

Я полагаю, mapwithstate выполняется для каждого ключа.Но есть ли способ вычислить новое состояние...

У меня есть задание, которое состоит из оператора 9 sql, чтобы извлечь данные из улья и записать...

Кто-нибудь может мне помочь в написании Неупорядоченных массовых документов в MongoDB из Java с...

Я использую Йену в Spark.Я сталкиваюсь со странной проблемой при развертывании в кластере (не...

Это ниже отлично работает: import org.apache.spark.sql.Row import org.apache.spark.sql.types

Я написал проект maven на Java для хранения некоторых таблиц улья с использованием spark.Таблицы и...

В книге Learning Spark пишут: Для операций, которые действуют на один RDD, таких как lowerByKey (),...

У меня есть приведенный ниже RDD, t1RDD2, присутствуют только первые пять строк: (000471242-01...

1-Проблема У меня есть программа Spark , в которой используется Kryo , но не как часть Механика...

У меня есть искровой фрейм данных, такой как +-----+---+---+---+------+ |group| a| b| c|config|...

Я работаю над проблемой бинарной классификации, используя различные классификаторы, доступные в...

У меня есть некоторые данные json, как показано ниже, мне нужно создать новые столбцы на основе...

Я пытаюсь транслировать живые твиты с помощью Spark / Scala.У меня возникли некоторые трудности. Я...

У меня есть две таблицы данных spark sql, у которых нет ни одного уникального столбца.Первый фрейм...

Я использую пакет IBMSparkGPU / GPUenabler.Я использую сборку sbt, чтобы упаковать всю зависимость...

Я пытаюсь запросить SQL-сервер, используя Spark / scala и сталкиваюсь с проблемой вот код import...

Я читаю данные из Kinesis и записываю их в ElasticEearch через структурированную потоковую передачу...

У меня есть простой приемник, который генерирует фиктивные данные и используется в контексте...

Я работаю с 4000 исполнителей для обработки данных за 3 года ~ 1 петабайт.Я запускаю один запрос в...

У меня есть следующий Dataframe +-------_--------------------------------------------+ | Col1 |...

Я ищу способ агрегирования по месяцам моих данных.Я хочу, во-первых, сохранить только месяц в моей...

В моем случае я должен пойти на 22 Lateral View Explode.За 1 запись я получаю 0,9 миллиона записей...

Попытка записи данных в тему Kafka с использованием Spark Structured Streaming и получение...