Я новичок в spark / scala.У меня есть созданный ниже RDD путем загрузки данных из нескольких путей

У меня есть несколько rdd и я хочу получить общие слова, присоединившись к нему, и получить...

У меня есть паркет, который выглядит следующим образом: ------------ name | age | ------------ Tom...

версия spark: 2.3 Потоковое приложение Spark выполняет потоковую передачу по пути hdfs...

Я пытаюсь добавить столбец в набор данных, вычисляя его из существующего: val...

Мы получаем общий фид данных, где это значение и тип данных в 2 столбцах.Очевидно, что для общего...

У меня есть огромный список данных в spark, и я взял только его заголовки и сохранил их в фрейме...

В моей таблице есть столбец, который содержит значение "SANDOSTATINA LAR 10mg 2ml",...

Рабочий Spark SQL: "SELECT current_timestamp() - INTERVAL 10 DAYS as diff from...

У меня есть две таблицы A и B. Мне нужно загружать данные из таблицы A каждый час в таблицу B...

Я использую структурированную потоковую обработку Spark (используйте SSS в качестве сокращения...

Я пытаюсь запустить команду в моей оболочке linux для запуска примеров spark, моя версия spark -...

Я пытаюсь написать потребителя Kafka (из protobuf), используя структурированную потоковую передачу

Я пытаюсь вставить искровой фрейм данных в Aurora RDS Postgres. Допустим, DF имеет 2 столбца и...

Я сталкиваюсь с тем, что на первый взгляд новичку Spark Streaming кажется нелогичным: когда Spark...

Input DataFrame +----+---+----+--------+ |type|aud|code|priority| +----+---+----+--------+ | A| AA|...

Я пытаюсь настроить работу Spark на использование данных от Kafka.У брокеров Kafka настроен SSL, но...

У меня есть набор данных AVRO с этой схемой для HDFS, root |-- id: string (nullable = true) |--...

У меня есть вопрос о стохастичности реализации Random Forest в Spark ML.Что я наблюдаю, так это то,...

Я написал код, часть которого, как показано ниже Object Cal{ def mergedatasets(df: Dataset[Row],...

Я получаю сообщение об ошибке при запуске задания Spark о том, что промежуточные файлы уже...

Вопрос: У меня есть ниже 2 фреймов данных, хранящихся в массиве.Данные уже разделены по SECURITY_ID

Привет ~ Я новичок в искре.Я хочу получить пары со столбцом в кадре данных, каждый элемент в...

У меня есть запись в формате csv, подобная этой: --------------------------- name | age |...

У меня есть фрейм данных: |id|value| | 0| 1| | 1| 3| | 2| 9| Я хочу применить функцию к каждой...