Моя функция UDF возвращает массив объектов json в виде строки. Как я могу развернуть массив в...

Я читаю таблицу Hive LLAP в Spark, используя Hive Warehouseconnector. Создайте таблицу Temp из...

Я пытаюсь обогатить фрейм данных, извлекая информацию из API отдыха, но не перегружая ее, то есть...

У меня есть следующий фрейм данных, df4 |Itemno |fits_assembly_id |fits_assembly_name...

Я чрезвычайно новичок в работе с фреймами данных. У меня есть два кадра. Один называется new,...

Мы пытаемся получить логический план (не путать с физическим планом), который Spark генерирует для...

У меня есть фрейм данных, который содержит аббревиатуру названия стран: +--+----+ |Id|Code|...

Вариант использования - найти n максимум строк в данном столбце (это может быть n номеров столбцов)...

Я пытаюсь добиться разницы между двумя значениями столбца timestamp. Попытка достичь того же...

Сможет ли кто-нибудь помочь с приведенной ниже проблемой? Формальная проблема Как обработать...

Я хочу избежать обработки пустых файлов JSON. Некоторые пустые файлы JSON, которые я получаю,...

Я хочу выбрать вид, который виден при активации функции редакции Oracle. alter session set...

Я не могу найти информацию о временном сохранении данных Spark на диске в официальных документах,...

Насколько я понимаю, spark.sql.files.maxPartitionBytes используется для управления размером раздела...

Как выбрать данные из вложенного JSON, используя фреймы данных в Spark. Из приведенного ниже...

У меня есть фрейм данных со следующим кодом: def test(lat: Double, lon: Double) = {...

В python поддерживает ли apache spark RDD многоуровневые столбцы? Вот что я пытаюсь сделать: 1) У...

Я использую Spark 1.6 с Scala. Я создал Dataframe, который выглядит следующим образом. DATA SKU,...

У меня есть задания Spark, работающие в кластере EMR. EMR использует AWS Glue в качестве метастафа...

У меня есть 3 фрейма данных 'u', 'join5' и site. Вот схема данных фрейма 'u'. scala> println(u

У меня есть датафрейм с одним из столбцов в качестве эпохи. Я хочу извлечь из него только час и...

Отправка этого вопроса, чтобы узнать, как Apache Spark собирает и координирует результаты от...

У меня есть набор данных из списка строк, мне нужно создать новый набор данных из вышеупомянутого,...

Я новичок в Spark и mapreduce. Я хочу попросить о помощи, есть ли какой-нибудь элегантный способ...

Вот моя конфигурация кластера : Главные узлы: 1 (16 ВЦП, 64 ГБ памяти) Рабочие узлы: 2 (всего 64...