Я использовал Bucketing при объединении двух таблиц, но обмен все еще происходит. Я не уверен, что...

У меня есть ситуация, аналогичная описанной в этом вопросе. Но мой полный проект находится в Scala,...

Я пытаюсь добавить столбец в мой Spark DataFrame, используя withColumn и udf без аргументов....

Скажем, у меня есть фрейм данных originalDF, который выглядит следующим образом...

Я всегда понимал, что persist() и cache(), затем действие по активации DAG, рассчитают и сохранят...

У меня есть столбец spark-dataframe Выход из df.select('parsed').show():...

Ежедневно мне нужно обобщать действия клиентов для разных вариантов использования. Чтобы сохранить...

Как найти количество слов в столбце во фрейме данных? Я пытаюсь найти количество слов в столбце...

Я хотел бы создать таблицу календаря, используя этот запрос (он работает в обычном SQL) SELECT...

Платформа: RHEL 7, cloudera CDH 6.2 Hadoop Distrubution, Pyspark 3.7.1 Что я пытался: Я мог...

У меня есть особое требование, чтобы заполнить все значения (категории) в столбце.Например, как...

Я пытаюсь создать столбец вложенного массива структуры из кадра данных во время операции соединения...

a = +------------+------------+------+ | Name| Nationality|Salary|...

Я пишу код для выбора максимального значения из столбца, который не равен двум другим большим...

просто с помощью функции UDF для объединения двух строк. Вот мой код import org.apache.spark.sql

Есть ли опция с sparksession.read () для кэширования при загрузке?Я читаю XML-файлы из s3, и он...

У меня есть такой Dataframe (в Pyspark 2.3.1): from pyspark.sql import Row my_data = spark

Я пытаюсь выполнить группирование для определенного столбца в кадре данных на основе данных,...

Входной набор данных Dataset<Row> inputDS = spark.read.format("avro")

Когда я использую таблицу кустов Spark-запросов SQL, «MetaException response too large» выдает...

UDF Spark содержат следующие функции: обнуляемый, детерминированный, dataType и т. Д. Таким образом...

Мой фрейм данных выглядит так: +-------------------+-------------+ | Nationality| continent|...

У меня есть искровой фрейм данных в pyspark, и мне нужно удалить все константные столбцы из моего...

Рассмотрим пример кадра данных: df = +-------+-----+ | tech|state| +-------+-----+ | 70|wa | |...

Это входные данные pispark Dataframe | Finishing_mill_id | Position_float | Entry_Temp |...