У меня есть фрейм данных df, который включает в себя два столбца: GROUP_ID - их всего 3: 1, 2, 3...

Я хочу прочитать CSV-файл в dfTRUEcsv Как получить значение (03,05) и 11 в виде строки в...

У меня есть простой запрос, который объединяет две таблицы, как показано ниже: select p.policy_id,...

У меня есть книга правил csv, данные выглядят так: operator|lastname|operator|firstname|val equals...

Работает Spark кластер 256 ГБ памяти (DRIVER), 32 ядра с одинаковыми рабочими. 5.5 Среда Conda Beta...

Я хотел бы знать, приведет ли положение определенного условия фильтра в запросе к значительному...

Я получаю набор данных, и мне необходимо join с другой таблицей.Следовательно, самое простое...

Может быть, это глупо, я являюсь разработчиком Microsoft SQL / C # и никогда раньше не использовал...

Я работаю в проекте, где ETL выполняется с помощью Spark SQL buy, создавая последовательность...

У меня есть фрейм данных, созданный из файла XML со следующей структурой: Что я хочу сделать, это...

Мне потребовалась помощь в использовании функции Spark ASCII (строковая функция sparkSQl) с...

Я создал Spark DataFrame в Scala, используя Databricks.После некоторой предварительной обработки я...

Я искал решение о том, как разделить фрейм данных на основе значений столбцов с идентификатором...

Очень плохо знаком с SQL и Spark, и я пытаюсь добавить столбец в набор данных, содержащий различное...

У меня есть несколько таблиц, которые связаны как A -> Left Join -> B -> Left join -> C

Я пытаюсь перебрать набор данных с помощью функции map, возвращая элементы без каких-либо изменений...

Я пишу / читаю spark dataframes в удаленный кластер hdfs в Linux. dataFrame.select("col1"...

У меня есть блокнот SQL (notebookA), куда я хочу передать аргументы из другого блокнота (notebookB)

Я занимаюсь обратным проектированием некоторых устаревших алгоритмов SQL для перехода на Apache...

Найдите, являются ли все определенные столбцы в группе значениями NULL, затем заполните целевой...

Я не могу прочитать файлы json из dbfs, который получает поврежденный фрейм данных. Я пытался dfx =...

Я пытаюсь загрузить файл avro в фрейм данных Sparks, чтобы преобразовать его в pandas и, в конечном...

Я прочитал CSV-файл, в котором есть повторяющийся столбец. Я хочу сохранить имя столбца в кадре...

Мое требование - извлечь данные из источника за 24 месяц в качестве начальной загрузки в целевую...

У нас есть процесс дедупликации, который читает файлы паркета, удаляет дубликаты записей и...