Вопросы с тегом apache--spark--sql

3 голосов

1 ответ

Как указать идентификатор группы потребителя kafka для структурированной потоковой передачи искры?

yyuankm / 01 августа 2020

0 голосов

0 ответов

Spark- SQL 3.x вставить столбец даты как 1970-01-01 по умолчанию

Bharat Bhushan / 01 августа 2020

1 голос

2 ответов

Проблема с производительностью Spark - запись разделов в S3 как отдельных файлов

lalatnayak / 01 августа 2020

0 голосов

2 ответов

Как уменьшить и суммировать сетки с помощью in Scala Spark DF

Ahmad Arshi / 14 июля 2020

0 голосов

2 ответов

Запросы полей из вложенных массивов / структур

Amaan Khan / 14 июля 2020

0 голосов

1 ответ

Как преобразовать столбец ArrayType в словарь в Pyspark

Bharadwaj Iyer / 14 июля 2020

0 голосов

2 ответов

Spark: как выполнять операции агрегирования в массиве строк в кадре данных

Bowen Peng / 14 июля 2020

0 голосов

2 ответов

Соберите значение столбца фрейма данных Spark для установки

vishalraj / 14 июля 2020

0 голосов

2 ответов

Разделите строку Spark df на равные части и переверните их, чтобы получились столбцы

Ahmad Arshi / 14 июля 2020

0 голосов

1 ответ

Как отменить операцию pyspark foreachPartition

TeaHoney / 14 июля 2020

1 голос

1 ответ

Сбор информации о пользователе (электронная почта, IP-адрес и т. Д. c) из строкового столбца таблицы Databricks

Ali Hasan / 14 июля 2020

2 голосов

3 ответов

Сопоставить Spark DF с форматом (номер_строки, номер_столбца, значение)

Ahmad Arshi / 14 июля 2020

0 голосов

1 ответ

В чем разница между spark.table («ТАБЛИЦА A») и spark.read. («ТАБЛИЦА A»)

Sean / 14 июля 2020

0 голосов

1 ответ

Spark DataFrame: выбор столбца по значению строки

rosefun / 14 июля 2020

1 голос

1 ответ

Как повторно использовать одно и то же разбиение на несколько логических смещений windows в pyspark?

Vinay Kolar / 14 июля 2020

0 голосов

1 ответ

Unpivot в spark-sql / Scala имена столбцов - числа

galiani / 14 июля 2020

0 голосов

0 ответов

Реализация SCD2 в Redshift с использованием AWS GLue Pyspark

Hary S / 13 июля 2020

0 голосов

2 ответов

Spark выдает ошибку при попытке сохранить файл CSV

leoventersthevoid / 13 июля 2020

1 голос

1 ответ

Выполнение функций для нескольких столбцов в фреймах данных Pyspark

keerthi007 / 13 июля 2020

0 голосов

1 ответ

Ошибка при передаче кадра данных в UDF в структурированной потоковой передаче

the_stack_over_flew / 13 июля 2020

0 голосов

1 ответ

Чтение данных с использованием структурированной потоковой передачи в Pyspark и запись данных размером 100 МБ

Abdul Haseeb / 13 июля 2020

1 голос

1 ответ

PySpark записывает два фрейма данных в один и тот же раздел, но разделенные папкой

Aaron Zhong / 13 июля 2020

0 голосов

0 ответов

Записать количество файлов на основе размера данных в Pyspark

Abdul Haseeb / 12 июля 2020

1 голос

1 ответ

Можем ли мы автоматизировать создание запросов Spark SQL из схемы AVRO?

Teja / 12 июля 2020

1 голос

2 ответов

Могу ли я получить метаданные файлов, читаемых Spark

Abdul Haseeb / 11 июля 2020