Попытка преобразовать все типы данных источника на основе списка в spark scala - без использования...

У меня проблема с объединением двух Dataframes со столбцами, содержащими массивы в PySpark.Я хочу...

У меня есть сценарий, в котором я должен подготовить несколько фреймов данных, которые будут...

У меня есть датафрейм с полными IP-адресами.У меня есть список IP-адресов, которые я хочу удалить...

У меня есть два кадра данных с одним и тем же столбцом MapType.При объединении этих фреймов данных...

Я хочу преобразовать Dataframe, который содержит значения Double, в List, чтобы я мог использовать...

Ссылаясь на здесь , который рекомендует присоединиться к добавлению столбца из одной таблицы в...

У меня есть DataFrame, как показано ниже. +-----------------------------------+ |mycol |...

Чтение файла паркета и попытка преобразовать фрейм данных в карту [String, Double] с этой строкой:...

Я запускаю PySpark в Jupyter Notebook, пытаясь загрузить много больших файлов JSON.Ранее я...

У меня есть два кадра данных. dataDF +---+ | tt| +---+ | a| | b| | c| | ab| +---+ alter...

У меня есть два кадра данных, которые необходимо соединить в кластере из 20 узлов. Однако из-за их...

У меня есть 2 фрейма данных: A: +----------+------+-------------+-------------+ |title |name...

У меня есть CSV-файл, в котором есть только данные, но нет имени столбца, теперь я хочу создать в...

Мне нужно заменить некоторое значение во фрейме данных (с вложенной схемой) на null, я видел это...

Я получаю странную ошибку при сохранении кадра данных в AWS S3. df.coalesce(1).write.mode(SaveMode

У меня есть 2 кадра: df1: Id purchase_count purchase_sim 12 100 1500 13 1020 1300 14 1010 1100 20...

В настоящее время я использую следующий подход для объединения столбцов в кадре данных: val...

Следующий код HiveQL занимает от 3 до 4 часов, и я пытаюсь эффективно преобразовать его в код...

У меня 220 ГБ данных.Я прочитал его в искровой dataframe в виде 2 столбцов: JournalID и Text.Теперь...

У меня есть Spark Dataframe (Scala) со столбцами id - (Int) и tokens - (array<string>): id...

У меня есть DF с входными данными, как показано ниже: +----+----+ |col1|col2| +----+--------+ |...

Я следую примеру из документации по соединителю spark-redis для создания Dataframes из...

У меня есть входные данные, как показано ниже - Customer_ID,General,General Channel,Nominal...

У меня есть 2 кадра данных искры, которые я читаю из улья, используя sqlContext.Давайте назовем эти...