Я пытался преобразовать отрицательное число в положительное, используя встроенную в Python функцию...

Задача состояла в том, чтобы вывести всех руководителей сотрудников на уровень выше в Spark....

Я использую Spark 2.4.0 в кластере AWS. Целью является ETL, и он в значительной степени основан на...

Я создаю связующее задание, которое будет считывать информацию из s3, выполнять запрос и выводить...

Я наблюдал это явление сегодня. Когда я выполняю следующую команду в Hive CLI, я получаю что-то...

Когда я попытался загрузить представление Hive с помощью HiveContext в PySpark, я заметил некоторые...

Для начала, я признаю, что я довольно плохо знаком с фреймами данных / блоками данных, работая с...

Мне понадобилось 5 минут, чтобы придумать этот отстойный заголовок, так как проблема была очень...

У меня есть файл Json, как упомянуто ниже, в котором есть массив и структура для одного элемента...

Мне интересно, как удалить диакритические знаки в Pyspark Dataframe с помощью Python2. Мне нужно...

Я использую pyspark для загрузки данных из файла CSV в кадр данных, и мне удалось загрузить данные...

Мне нужно объединить две таблицы, при условии, что один столбец таблицы соответствует любому...

Я знаю, что это очень специфическая проблема, и не принято публиковать подобные вопросы в...

Я пытаюсь объединить две таблицы в pyspark, используя SQLContext: create table joined_table stored...

У меня есть фрейм данных spark, в котором есть столбец «X». Столбец содержит элементы в форме: и...

I have a column in pyspark dataframe which contain values separated by ;...

У меня есть искровой фрейм данных, и я пытаюсь получить значение для следующего использования....

Я пытаюсь преобразовать сложное текстовое поле в одно из ~ 2000 возможных значений на основе...

У меня есть несколько csvs с разными заголовками. некоторые из них имеют 12 столбцов, некоторые 14...

Ошибка: «Ошибка при создании экземпляра org.apache.spark.sql.hive.HiveExternalCatalog»: * Как я...

Теперь я получаю еще одну ошибку при создании функции udf в pyspark. Поле «Код категории продавца»...

Я пытаюсь прочитать CSV-файл, используя SparkSession на ноутбуке Jupyter. Но когда я запускаю свой...

Создана схема, которая должна выбирать только идентификатор и название места, откуда был отправлен...

Я работаю над приложением ETL, использующим pyspark. Я закончил реализацию и при запуске его на...

Команда ANALYZE TABLE, запускаемая из Spark для таблицы Hive, не дает такого же улучшения...