Мне нужно проверить каждый столбец фрейма данных с ожидаемой длиной или нет.Если нет, необходимо...

У меня есть фрейм данных pyspark: ABC 1 NA 9 4 2 5 6 4 2 5 1 NA Я хочу удалить строки, содержащие...

У меня есть мой код T-SQL, как показано ниже cast( dateadd(minute, - 240,...

У меня есть код T-SQL, ниже которого я конвертировал в Pyspark, но выдает ошибку CASE WHEN...

У меня есть искровой фрейм данных с 10 столбцами, которые я записываю в таблицу в формате hdf.У...

Менеджер транзакций не является ACID, поэтому я не могу использовать транзакцию ACID здесь.Я...

Ниже приведен код T-SQL.Я попытался преобразовать его в pyspark с помощью оконных функций, которые...

Я новичок в pyspark.У меня есть код панды, как показано ниже. bindt = df[df[var].notnull()][var]

Ниже приведен код T-SQL.Я попытался преобразовать его в pyspark с помощью оконных функций, которые...

Я должен обрабатывать миллионы данных еженедельно, поэтому написал функцию, а затем преобразовал ее...

Как мне собрать заголовки или имена столбцов из строки pyspark.sql в Python?Я мог бы использовать...

У меня есть четыре столбца в моем фрейме данных PySpark: 'drivers','cars'...

Попытка загрузить данные из таблицы оракула, где у меня есть несколько столбцов, в которых хранятся...

У меня есть фрейм данных с 2 столбцами, и я получил массив ниже, выполнив df.collect () . array =...

Я пытаюсь выполнить сокращение раздела, используя условия JOIN ON, а не условия WHERE.Предлагает ли...

Я анализирую файлы Twitter с целью взять актуальную тему в формате json с Spark SQL После того, как...

Запрос работает хорошо через vertica, но он не работает в jdbc "pyspark", ОШИБКА: синтаксическая...

Я читаю сообщения из темы кафки messageDFRaw = spark.readStream\ .format("kafka")\

У меня Spark 1.6 работает на Python 3.4, извлекает данные из моей базы данных Vertica для работы с...

Я сгенерировал pyspark.sql.dataframe.DataFrame с приведенными именами столбцов и счетом. Однако я...

Я использую spark 1.6 на 3 виртуальных машинах (т.е. 1x master; 2x slave), все с 8 ядрами,...

Я пытаюсь создать JSON из моего фрейма данных pyspark.Я вижу в моем фрейме данных данные...

Я пытаюсь получить все уникальные значения СДР и соответствующие им числа вхождений.Я пытался...

Проблема: учитывая, что данные временного ряда, которые являются потоком кликов по активности...

У меня есть RDD ниже, который я получил от клиента.Как я могу преобразовать этот RDD в Dataframe?...