Я хочу заменить столбец в кадре данных. необходимо получить синтаксический код scala для этого...

У меня есть фрейм данных, как показано ниже: df = sqlContext.createDataFrame([("count"...

У меня есть большой набор данных, загруженный во фрейм данных. tbl = glueContext

Поскольку я новичок в Spark , поэтому я пытаюсь использовать этот способ. val df = sqlContext.read

Мне нужно запросить таблицу улья, которая находится на лазурном, я использую приведенный ниже код...

В spark-scala мне нужно создать фрейм данных с помощью json-файла с вложенной структурой Issue...

Я использую com.johnsnowlabs.nlp-2.2.2 с spark-2.4.4 для обработки некоторых статей. В этих статьях...

SPARK 1.6, SCALA, MAVEN Я создал фрейм данных из RDD и пытался отфильтровать все записи, где cola =...

Я пытаюсь реализовать это около месяца. Просто используя некоторые примеры данных из других...

Я хочу добавить разделитель в функцию collect_set, которую я использую в Spark SQL. Если он...

Я создал фрейм данных следующим образом spark= SparkSession.builder.appName("test")

У меня есть датафрейм с именем result в pyspark, и я хочу применить udf для создания нового столбца...

Я пытаюсь отфильтровать по одному из столбцов в кадре данных, используя искру. Но свечи ниже...

У меня есть данные таблицы Hive, мне понадобится некоторая помощь по преобразованию данных в...

Я запрашиваю col в кадре данных искры, который я преобразовал в тип даты следующим образом:...

Как я могу отправить уведомление по электронной почте, если в искре произошла ошибка. Я использую...

У меня есть данные в фрейме данных, которые были получены из Azure EventHub. Затем я преобразовываю...

У меня HMP набор данных . Этот набор данных содержит 14 различных папок (категорий), и в каждой...

У меня есть запрос (приведенный ниже), и когда я его запускаю, иногда Spark выдает эту ошибку - org

Я хочу удалить строки в PySpark DataFrame, где определенный столбец содержит пустую карту. Как мне...

Я пытаюсь сохранить Spark Dataframe в таблице Sybase.Я использую Spark2-submit через скрипт...

Сохранение DataFrame в таблицу со столбцами VARBINARY вызывает ошибку: com.microsoft.sqlserver.jdbc

У меня есть таблица test, зарегистрированная с DataFrame с использованием registerTempTable. И я...

У меня есть база данных Hive, и все таблицы из моих примеров являются таблицами Hive в формате...

Я открываю несколько файлов "csv" в Spark 2.2, но когда я делаю "подсчет", он возвращает 10000000...