Как я могу взять Spark DataFrame, структурированный так: val sourcedf = spark.createDataFrame(...

У меня есть фрейм данных следующей структуры: A: Array[String] | B: Array[String] | [ ... multiple...

Я не понимаю, как работает последний параметр groupIdx в функции ниже, я не могу найти какие-либо...

У меня есть набор данных A как. +---------+---------+-----+ |price | status| id |...

У меня есть фрейм данных с миллиардом записей, и я хотел извлечь из него 10 записей. Какой подход...

В лазурных блоках данных, когда я читаю файл CSV с multiline = 'true' и encoding =...

Какие возможные значения можно использовать в функции hint Spark DataFrame? Я просматривал...

У меня вопрос по приведенному ниже коду. Я использую один и тот же раздел Windows и запускаю на нем...

У меня есть следующий Apache Spark Dataframe: Родитель - Ребенок А1 - А10 A1 - A2 A2 - A3 A3 - A4...

Это решение в теории идеально работает для того, что мне нужно, а именно для создания новой...

Я хочу проанализировать файл Excel. Этот файл имеет несколько значений полей в качестве формата...

У меня есть датафрейм SparkSQL и двумерная матрица. У них одинаковое количество рядов. Я намерен...

Я пытаюсь выполнить список запросов в Spark, но если запрос не выполняется правильно, Spark выдает...

Я сталкиваюсь с некоторыми проблемами при использовании кэша на фрейме данных spark. Я ожидаю, что...

Я пытаюсь сохранить Dataframe в папку HDFS. Но мое спасение занимает много времени. Действие до...

Предположим, у меня есть следующий фрейм данных: var df = Seq( ("2019-09-01", 0.1, 1,...

Используя Spark DataFrame, например. myDf .filter(col("timestamp").gt(15000))

Первый пользователь Spark. Я создал RDD для двух CSV-файлов (сотрудников и отдела). Я хотел бы...

При попытке преобразовать RDD в DataFrame я получаю сообщение об ошибке "EOFError". Что я могу...

Я извлек некоторые данные из улья в датафрейм в указанном ниже формате....

Цель Цель, которую я хочу достичь, - прочитать файл CSV (ОК) закодировать его в...

Невозможно запросить информацию о блокировке таблицы улья, используя приведенный ниже SQL-запрос в...

Я использую Spark 2.4, и у меня есть искровой фрейм данных, который имеет 2 столбца - id и...

Я работаю с данными об отношениях и мне нужно найти дедушку (с минимальной датой рождения) для всех...

У меня есть следующая папка с секционированными данными - my_folder |--part-0000.gzip |--part-0001