Я пытаюсь добавить столбец в набор данных, вычисляя его из существующего: val...

Рабочий Spark SQL: "SELECT current_timestamp() - INTERVAL 10 DAYS as diff from...

Мне нужно объединить все строки в PySpark DataFrame в список, а затем добавить дополнительный...

Я хочу проверить, существует ли в Hive таблица schemaname.tablename с использованием pysparkSQL. В...

Input DataFrame +----+---+----+--------+ |type|aud|code|priority| +----+---+----+--------+ | A| AA|...

Я написал код, часть которого, как показано ниже Object Cal{ def mergedatasets(df: Dataset[Row],...

Можем ли мы использовать функцию SQL в каждой строке кадра данных?Например: если мы хотим применить...

Привет ~ Я новичок в искре.Я хочу получить пары со столбцом в кадре данных, каждый элемент в...

Я пытаюсь применить один и тот же набор (18 или около того) преобразований к каждому столбцу (=...

В настоящее время я использую пакеты azure-storage-blob и hadoop-azure для загрузки файлов из...

Я хотел бы получить данные за 1 день из концентратора событий Azure, применить логику и скопировать...

WHEN TIMEDIFF(IFNULL(MAX(punchtime),0),IFNULL(MIN(punchtime),0))>= TIME('06:00:00')...

Файл CSV с разделителями-запятыми. Имеется инфраструктура для приема файла CSV.Заголовок из того же...

Я узнаю больше о Scala и Spark, но застрял на том, как структурировать функцию, когда я использую...

я использую spark 2.4.4 с python 2.7, а IDE - pycharm. Входной файл содержит закодированное...

Получение этого 0x00EF290000000000 шестнадцатеричное значение из одного столбца в базе данных...

Я пытаюсь понять физический план ниже. Но у меня есть несколько запросов == Physical Plan == *(13)...

Скажем, у меня есть набор данных: Dataset<Row> sqlDF = this.spark.sql("SELECT first_name...

При выполнении следующей команды я получаю ошибку Я запускаю код на платформе Databricks, но код...

Нам нужно вызвать внешнюю службу restful, чтобы обновить значение столбца в Dataset.Мы используем...

Я использую spark 2.1 с scala 2.11 и spark-sql_2.11 в intelliJ. Когда я использую getOrCreate()...

Я использую данные JSON из потока AWS Kinesis, но я получаю следующую ошибку при попытке...

Я пытаюсь проанализировать столбец даты, который в настоящее время набирает строку.Это в формате...

Я выполняю широковещательное объединение двух таблиц A и B. B - это кэшированная таблица, созданная...

Я использую Spark XML для анализа большого документа, который содержит несколько пользовательских...