У меня есть SQL-запрос, к которому я должен получить доступ в PySpark (DataBricks).из-за сложного...

Я пытаюсь выполнить запрос с select в case when операторе. как то так: select case when cust_id in...

Я не очень разбираюсь в SQL, но все же хотел бы спросить этот форум. Моя задача - обрабатывать...

Предположим, у меня есть две таблицы: table1 и table2. Формируемый запрос выглядит так: select *...

Насколько я понимаю, первая / последняя функция в Spark будет извлекать первую / последнюю строку...

Сейчас я поддерживаю большое хранилище данных, реализованное в MS SQL и SSIS, которое обновляется...

Я новичок в sql. у меня есть в таблице данные, как district city state population d1 c1 s1 2000 d2...

Я прочитал данные из таблицы Hive, отсортированные как файл Parquet, в DF. После применения...

Есть ли способ добавить новый столбец со значениями 0 в набор данных spark, если выбор столбца...

У меня есть data_date, который дает формат ггггммдд: beginDate = Some(LocalDate

Я борюсь с оптимизацией моих пользовательских функций, которые в настоящее время передаются как UDF

Я пытаюсь использовать dataframe для преобразования данных: Column 1 | Column 2 | Column 3 | Column...

У меня есть DataFrame в Azure Databricks, который выглядит как Col a| Col b ------------ Marc |...

Контекст У меня есть две таблицы, к которым я присоединяюсь / объединяюсь как часть моих искровых...

Я обновил нашу систему HDP (Hortonworks Data Platform) с 2.5.2 до новейших версий (2.6.5). Все...

Запустил задание spark (v2.1.1), которое объединяет 2-е число (одно - файл .txt из S3, другое -...

У меня есть несколько DFS, которые я хочу объединить в 1 большой DF +----+----------+----------+...

После переноса моих данных (предположим, таблицы) в HDFS я понятия не имею, как реплицируются мои...

Ниже id образца набора данных для транзакций, в которых "t_id" и "parent_id" имеют отношения...

полностью застрял, используйте разные подходы, но все же не повезло, я использую MySQl и SparkSql....

Хотите записать искровой фрейм в существующую таблицу кустов паркета.Я могу сделать это, используя...

Я создал несколько классов в своем проекте maven и создал файл jar с использованием артефакта...

Схема для РАБОТНИКА (ID, EMPLOYEENAME, SALARY, ORGANIZATIONID) Запрос для решения: найдите имена...

Есть ли способ получить Hadoop FileSystem от Spark Executor при выполнении операции mapPartitions...

следующее возвращает df1 как Array [DataFrame] или Array [Seq] val df1 = df.rdd.collect.map (f =>...