У меня есть пример таблицы, как показано ниже (у меня есть 1 миллион таких строк), из этого мне...

Я хочу преобразовать приведенный ниже код панды в pysaprk. d =...

Кажется, что все эти функции выполняют довольно похожие операции. OneHotEncoderEstimator в...

Я хочу, чтобы значение пересечения 2 данных (столбцов) совпадало с unique_ID, и сохраняло значение...

Я не могу найти сумму СДР. Я новичок в этой области, пожалуйста, помогите. Использование Python 2.7...

У меня есть PySpark DataFrame со столбцами people и timestamp (плюс дополнительные столбцы, которые...

в запросе, чтобы выбрать некоторые столбцы из кадра данных, у меня есть тип столбца: карта, которая...

Я хочу использовать collect_list в: from pyspark.sql.functions import collect_list Но пакет функций...

Мне нужно прочитать строку файла, разделить каждую строку на слова и выполнить операции со словами....

У меня проблемы с использованием Spark 2.3.1 и PySpark. Firstable Я пытался выполнить все множество...

У меня есть искровой DataFrame, импортированный из файла CSV. После применения некоторых...

У меня есть CSV-файл, разделенный запятыми. Используя PySpark, я хочу загрузить некоторые поля в...

Я могу запустить следующий код и получить включенные выходные данные, но он не работает, если один...

Я использую годовой доход взрослого населения от UCI. У меня есть фрейм данных с категориальной...

У меня есть фрейм данных, в котором много столбцов (более 50 столбцов), и я хочу выбрать все...

У меня есть два кадра данных, DF1 и DF2, DF1 является ведущим, а DF2 является дельтой. Данные из...

Получение ошибки при вызове кода ниже. Это взрыв массива в кадре данных без потери нулевых значений...

Я пытаюсь подсчитать, сколько раз поле «мера» имеет значение «М» между датой 1 и датой 2 для каждой...

В Spark 2.1 с использованием pyspark, если вы хотите запросить таблицу (например, из HDP), вы...

Я следовал этим инструкциям и установил Apache Spark (PySpark) 2.3.1 на мою машину со...

У меня есть столбец даты в метке времени Unix следующим образом: %sql select timestamp from table...

Рассмотрим следующий фрейм данных: #+------+---+ #|letter|rpt| #+------+---+ #| X| 3| #| Y| 1| #|...

Я пытаюсь получить тип данных столбца из кадра данных Вот пример кода: print training_data.schema...

Я хотел бы реплицировать все строки в моем DataFrame на основе значения данного столбца в каждой...

Цель моего кода - пытаться отбрасывать столбец каждый раз, когда он появляется. Я знаю, что есть...