Я пытаюсь получить количество строк и столбцов всех таблиц в схеме на сервере sql, используя spark...

Я пытаюсь удалить дубликаты в кадрах данных spark с помощью dropDuplicates () на нескольких...

Я пытаюсь использовать функции sql NVL2 и NULLIF в моем коде scala-spark, но он не работает. Это то...

Здесь я хочу заменить значение в определенном столбце на ноль, если оно пустое. String. Причина в...

Вопрос 1. Я работаю над задачей классификации с фреймом данных размером 56 000 записей и 2100...

Позвольте быть работой, которая содержит две фазы, которые (для удобства) не могут быть объединены

У меня есть скрипт ниже (я удалил все имена столбцов и т. Д., Чтобы было проще увидеть, что я делаю...

У меня есть датафрейм, который выглядит следующим образом: df: col1 col2 a [p1,p2,p3] b [p1,p4]...

У меня есть датафрейм id lat long lag_lat lag_long detector lag_interval gpsdt lead_gpsdt 1 12 13...

У меня есть фрейм данных со столбцом массива. val json = """[ {"id": 1,...

Быстрый вопрос, просто пытаясь понять, что именно означает spark.sql.shuffle.partitions?Говорим ли...

var versionMap = scala.collection.immutable.Map.empty[String, List[String]] var queryType =...

У меня есть 2 кадра данных: |data | |--------------| |[1,Rob,12] | |[2,Jeremy,11] | |[3,Bart,14] |...

Кажется, есть ошибка, с которой я столкнулся в API-интерфейсе данных Spark Java.Я использую искру 2

У меня есть искровой датафрейм в python.И это было отсортировано на основе столбца.Как я могу...

В HDFS у меня есть такие каталоги, как этот hdfs: // имя хоста / данные / канал / данные / dt =...

У меня есть набор данных транзакции, который я готовлю к val df = spark.read.parquet(".

Я использую вложенную структуру данных (массив) для хранения многозначных атрибутов для таблицы...

У меня есть следующая схема данных: root |-- firstname: string (nullable = true) |-- lastname:...

Мне нужно отфильтровать только текст, начинающийся с> в столбце. Я знаю, что есть функции setsWith...

Я пытаюсь подключиться к Vertica dB с помощью Spark v2.3.1 Scala 2.11.8 с использованием jdbc. На...

Вчера (практически полный журнал) Я попытался найти элегантный способ представления модели с...

Я использую функции python для абстрагирования функциональных возможностей и передачи данных в...

У меня есть следующий кадр данных: +-----------+ | f1 | +-----------+ |[a,b,c] | |[e,f,g] | |[h,i]...

Моя проблема в том, что я работаю с DataFrame и хочу: 1) Получить один столбец с val column =...