Согласно Как определить, есть ли в Spark DataFrame столбец , существует функция типа df.columns
Я хочу сделать следующее: У меня есть DataFrame с двумя столбцами (ID, отметка времени), обе строки...
У меня есть небольшой DF, который довольно дорог для вычисления. Затем я широковещательно...
Представьте, что у нас есть набор данных clickstream, содержащий миллионы строк. И мы хотим...
Я использую Hive (2.1.1) hook, как показано ниже: set hive.exec.post.hooks=com.test
Недавно я внес некоторые пользовательские изменения в модуль катализатора Spark SQL, чтобы избежать...
В кластере dataproc я хочу запустить несколько пользовательских заданий pyspark. Каждая работа...
Из всей онлайновой документации VectorAssembler () должен просто создать вектор из выбранных...
Я могу читать данные из местоположения S3 с помощью Spark и Glue без проблем, но при попытке чтения...
Я использую кластер Spark K-means на кластерах AWS EMR. Набор данных содержит 10 ^ 7 строк и 9...
Моя схема JSON содержит типы данных со Struct, Array, Struct и Array. Когда я сам разрываю это...
У меня есть таблица с разделом на hire_date, и я хочу создать управляемое представление для каждого...
Я новичок в Delta Lake, но я хочу создать несколько индексов для быстрого поиска для некоторых...
Я ищу ссылки на файлы, не относящиеся к Python (например, SQL, config, txt), сохраненные в формате
У меня есть CSV-файл о рейсах со следующей информацией в следующем порядке: дата рейса, номер рейса...
Учитывая два искровых фрейма данных A и B с одинаковым количеством столбцов и строк, я хочу...
Я пытаюсь использовать функцию regex_extract, чтобы получить последние три цифры в строке...
Хотя существуют разные способы обработки текстовых файлов с различными полями и разделителями строк
Невозможно разделить столбец на несколько столбцов в кадре данных Spark и с помощью RDD. Я...
Я работаю над этим проектом PySpark, и когда я пытаюсь что-то вычислить, я получаю следующую...
У меня есть следующий массив: [{"Date":"2019-01-01","Order...
Я работаю над потоковым приложением со искрой и пытаюсь проанализировать JSON, указанный в...
jsonStrDF ключ json Скажите ему, чтобы он игнорировал регистр. val mapOption =...
Я могу прочитать локальный файл CSV в окне командной строки Python, используя spark.read.csv ('путь...
Я хочу преобразовать Dataframe в набор данных [CC]. case class CC(id: String, value: String) df