С учетом искрового фрейма данных с дублирующимися именами столбцов (например, A) для , которые я не...
Я читаю источник, который получил описания длиннее 256 символов. Я хочу написать их в Redshift....
rest_data = +--------------------+-----+---------+ | features|label| old_label...
Я хочу создать PySpark DataFrame from pyspark.sql import SparkSession from pyspark.sql.types import...
Это мой входной фрейм данных: id val 1 Y 1 N 2 a 2 b 3 N Результат должен быть: id val 1 Y 2 a 2 b...
У меня возникают проблемы при попытке использовать переменную, содержащую мое выражение в...
Я хотел бы создать json из 2-х фреймов данных (один родительский, а другой дочерний). Дочерние...
У меня есть пример данных, как показано ниже: UserId,ProductId,Category,Action 1,111,Electronics...
Объединение двух данных приводит к почти 60 столбцам. Большинство из них предполагают, что они...
Я использую запрос ниже: select UserId, Category from customer_data where (Category in...
Я запускаю приведенный ниже код, который содержит фильтр, объединение и некоторые вычисления, такие...
Ошибка: Объединение может выполняться только для таблиц с совместимыми типами столбцов. struct...
У меня есть имя таблицы "data", которая имеет 5 столбцов и каждый столбец содержит несколько...
У меня есть вопрос о разделении Spark DataFrame, в настоящее время я использую Spark 1.6 для...
У меня есть Java-программа, которая выполняет код Spark. Я использую приведенный ниже код для...
У меня есть особое требование для преобразования некоторых связанных таблиц данных во вложенный...
В моем проекте есть следующее требование, и мы пытаемся использовать PySpark для обработки данных....
Я хочу преобразовать этот базовый SQL-запрос в Spark select Grade, count(*) * 100.0 / sum(count(*))...
Фрагменты кода: Файл 1: master.py # Spark Imports from pyspark import SparkContext,SparkConf from...
У меня есть сценарий, в котором я должен получить разницу между текущей датой и датами в столбце из...
Вопрос Есть ли способ загрузить определенный столбец из таблицы базы данных (PostreSQL) в виде...
Представьте себе следующий ввод: val data = Seq (("1::Alice"), ("2::Bob")) val...
рассмотреть текстовый файл с двумя столбцами a,b c,d a,b a,b d,c b,a e,f g,h с помощью spark-sql и...
Мы переходим с Greenplum на HDFS. Данные поступают из исходных таблиц в Greenplum через огромный...
Мой вопрос довольно прост, но почему-то я не могу найти четкий ответ, прочитав документацию. У меня...