REGEXP_INSTR Функция: выполняет поиск в строке шаблона регулярного выражения и возвращает целое...

Я пытаюсь найти минимальную дату в столбце «dateclosed» в фрейме данных pyspark. Затем я хочу...

Ниже приведен мой код: from pyspark.sql import SparkSession import pandas as pd from pyspark.sql...

Я выполняю следующую команду Redshift SQL, используя оператор POSIX (~) для сопоставления с...

У меня есть образец кадра данных панд, как показано ниже. Но мои реальные данные 40 million rows...

Я ищу ссылки на файлы, не относящиеся к Python (например, SQL, config, txt), сохраненные в формате

Я пытаюсь использовать функцию regex_extract, чтобы получить последние три цифры в строке...

Я не могу подключиться к kafka_2.12-2.3.0 из структурированной потоковой передачи spark_2.4.4,...

Я работаю в Python, а не в Scala. Итак, мой текущий вывод, который представляет собой фрейм данных,...

Pyspark.sql.dataframe преобразует данные массива каждого столбца конкретной строки в новый фрейм...

Я хочу выбрать n случайных строк (без замены) из фрейма данных PySpark (предпочтительно в форме...

Мы видим, что объединяет несколько таблиц улья. Если я использую spark SQL в pyspark и прочитал это...

У меня есть строка метки времени с микросекундами следующим образом: +-------------------------+...

Я хотел бы иметь столбец row_number (), основанный на 2 столбцах в существующем фрейме данных с...

У меня есть датафрейм, как показано ниже df = pd.DataFrame({ 'subject_id':[1,1,1,1,2,2,2...

У меня есть приложение PySpark, которое прекрасно работает, когда я пытаюсь установить свойства...

У меня есть кадр данных Spark, который выглядит примерно так: id country date action 1 A 2019-01-01...

У меня очень большой фрейм данных (450000 строк) с данными датчика и отметкой времени, что-то вроде...

Я только начинаю изучать spark, меня немного смущает эта концепция, поэтому из установки spark мы...

У меня есть ниже в Spark. это прекрасно работаетМне просто интересно, как я буду выполнять функции...

Я пытаюсь исключить данные, начинающиеся с обратной косой черты в данных таблицы. Я отфильтровал...

У меня есть два разных кадра данных, и я хочу узнать количество пересечений между m столбцами из...

Мне интересно, будет ли sqlContext.sql("query") поддерживать все функции SQL,...

У меня есть скрипт ниже. Я немного застрял с этим конкретным фрагментом: datex = datetime.datetime

Я выполняю около 80 запросов, используя spark.sql и createAndReplaceTempView. Но моя работа не...