Я хочу проверить, существует ли в Hive таблица schemaname.tablename с использованием pysparkSQL. В...

Input DataFrame +----+---+----+--------+ |type|aud|code|priority| +----+---+----+--------+ | A| AA|...

У меня есть заявление в MySQL, что я пытаюсь преобразовать в PySpark: my_table_name =...

Я использую Pyspark Мои входные данные выглядят следующим образом. COL1|COL2 |TYCO|130003| |EMC...

Мне нужно отфильтровать или, вернее, выбрать числовые столбцы в spark df, а затем применить...

Я бы хотел добавить 10 минут к дате «2011-09-23 15: 56: 39.2370000» в pyspark. (Основной мотив для...

Я ищу способ ранжировать столбцы в строке в фрейме данных pyspark. Например, возьмем следующий...

Я использовал явный набор данных оценок, который имеет около 389K оценок для пользователей 52K и...

Можем ли мы использовать функцию SQL в каждой строке кадра данных?Например: если мы хотим применить...

У меня есть кадр данных с этой схемой: root |-- id: string (nullable = true) |-- type_info: array...

У меня есть проект Pyspark, для которого требуется пользовательский ML Pipeline Transformer,...

Я работаю с таблицей медицинских претензий в pyspark и хочу вернуть только идентификаторы...

Я пытаюсь читать и писать из блоков s3 с помощью pyspark с помощью этих двух библиотек из maven...

У меня есть фрейм данных: |id|value| | 0| 1| | 1| 3| | 2| 9| Я хочу применить функцию к каждой...

С учетом СДР и функции, которые принимают два аргумента и возвращают их слияние (например).Я хотел...

Я открыл кластер AWS EMR и в ноутбуке pyspark3 jupyter я запустил этот код: ".. textRdd =...

По сути, у меня есть фрейм данных, который выглядит следующим образом: +----+-------+------+------+...

Я пытаюсь применить один и тот же набор (18 или около того) преобразований к каждому столбцу (=...

У меня есть список, скажем, ids = ['K50', 'K51', 'K51',...

from pyspark.sql.types import * schema = StructType([StructField("type", StringType(),...

Я пытаюсь зарегистрировать переменную из dataframe в pyspark.код: from pyspark.sql import...

У меня есть таблица MYSCHEMA.TEST_SNOWFLAKE_ROLE_T в Snowflake, созданная с использованием роли...

Я пытаюсь запустить программу pyspark, но получаю сообщение об ошибке: python.exe: Ошибка при...

Я прошел довольно много Q / A на SO по той же теме, но ни одно из решений не помогло мне решить эту...

У меня есть фрейм данных PySpark (D1) с 30+ миллионами строк, который выглядит следующим образом:...