Я пытаюсь добавить пустой столбец между двумя столбцами в операторе выбора данных. Используя...

У меня более 50 разных классов, и каждый из них привязан к разному источнику паркета val cc1ds =...

У меня есть фрейм данных, через который я хочу перебрать, но я не хочу конвертировать фрейм данных...

Я использую Scala 2.11 с Spark 2.1 У меня есть MutableList [String], определенный как переменная...

Мы получили два набора данных, которые были сохранены следующим образом: Набор данных A: datasetA

Я бы хотел сгруппировать записи в scala, только если они имеют одинаковый идентификатор и их время...

Я использую JSON с такими же именами полей.Как я могу переименовать в искра dataframe.пожалуйста,...

Я запускаю искровое приложение на экземплярах Amazon Spot. В конце я экспортирую свои результаты в...

Я пытаюсь реализовать функцию удаления для паркета при использовании, кроме функции, я получаю...

Я пытаюсь установить подключение к spark через Rstudio, используя пакет sparklyr, но выдает мне эту...

У меня есть кадр данных, как показано ниже - Я пытаюсь создать другой фрейм данных из этого,...

Мой код использует monotonically_increasing_id функция scala val df = List(("oleg"),...

Я прочитал файл JSON в Spark. Этот файл имеет следующую структуру: root |-- engagement: struct...

Я использую структурированную потоковую передачу Spark для рекурсивного чтения многих файлов и их...

Я разрабатываю приложение, в котором несколько пользователей используют один и тот же SparkContext...

import org.apache.hadoop.conf.Configuration import org.apache.hadoop.fs.{FileSystem, FileUtil,...

Допустим, у меня есть СДР в формате, подобном этому СДР [сотрудник], и примеры данных следующие: -...

У меня есть 2 фрейма данных, которые я обрабатываю в pyspark из разных источников. Эти кадры данных...

Я пытаюсь прочитать файл CSV в Spark - используя API для чтения CSV. Я в настоящее время...

В Spark у меня есть closest: org.apache.spark.rdd.RDD[(Int, (breeze.linalg.Vector[Double], Int))] =...

У меня есть набор данных, который я хочу разделить по определенному ключу (clientID), но некоторые...

вот моя часть Json, которую я преобразовал в Df {"business_id":...

Мы выполняем некоторое математическое моделирование данных из таблицы Cassandra с использованием...

Интересно, что (и как изменить) вызывает Spur Sturctured Streaming Query (с настроенным выходным...

Как периодически выполнять запрос MSCK REPAIR TABLE database.table неблокирующим способом?...