У меня есть внешняя таблица ORC с большим количеством маленьких файлов, которые ежедневно поступают...

Я использую Apache Spark на 64-битной машине с Windows 10.Я установил Java, Python 3.6, spark-2.3

Я пытаюсь выполнить некоторые преобразования в наборе данных с помощью spark, используя scala, в...

У меня есть столбец с оценками, и я хочу создать столбец групп для этой оценки. Пример: счет 623...

У меня есть данные таблицы, как показано ниже, и я хочу объединить данные с агрегацией. ColumnA...

Вот пример DF: Car Model Colors Toyota RAV4 Red, Black Toyota Camry Red, White (в списке может быть...

Краткое резюме: Я пытаюсь отобразить несколько гистограмм из Spark DataFrames с Vegas-viz в Scala....

Это мой приведенный ниже фрейм данных, который мне нужно сохранить в формате файла с фиксированной...

Я получаю ошибку при вставке данных в таблицу кустов, но данные успешно вставляются в таблицу. act...

Я установил spark в своей системе, некоторое время использовал spark-shell, и он работал нормально....

Я получаю следующую ошибку при запуске приложения с помощью команды spark-submit: Exception in...

У меня есть Dataframe, у которого есть столбец, который нуждается в некоторой очистке. Я с...

У меня есть следующее рабочее заявление для DS и DF: val ds2 = ds.withColumn("new_telnum"...

У меня есть данные некоторых телефонных записей ниже, я хочу удалить первые два значения из каждой...

Когда я загружаю данные Elasticsearch в Spark DataFrame с помощью PySpark, я получаю следующую...

Я хотел бы сохранить огромный фрейм данных pyspark в виде таблицы Hive. Как я могу сделать это...

Я пытаюсь загрузить данные в таблицу кустов с удаленного сервера, на который я отправляю 20...

def make_set(user_embed, country): entry_ids, feats = nation_feat[country][0],...

Я пытаюсь прочитать файл паркета из папки hdfs, выполнить некоторые преобразования и перезаписать...

Я использую следующий код, чтобы изменить форму информационного кадра, используя его строки для...

Я пытаюсь загрузить коллекцию искр Монго в карту скалы. Вот что я имею до сих пор: val mongoUri =...

Я создал фрейм данных, прочитав таблицу RDBMS из postgres, как показано ниже: val yearDF = spark

У меня авторизация включена на уровне базы данных (поэтому для чтения базы данных необходимо...

Я использую Vegas на IntelliJ для построения диаграмм из кадров данных Spark. Поскольку я не...

Имеет такой фрейм данных: ## +---+---+ ## | id|num| ## +---+---+ ## | 2|3.0| ## | 3|6.0| ## | 3|2