Короче говоря, я использовал для запуска части кода pyspark в оболочке pyspark с настройками по...
Код, который я сейчас использую: import pyspark.sql.functions as F F.when((df.UPDAT_DT
Постановка проблемы / первопричина. Мы используем AWS Glue для загрузки данных из рабочей базы...
Я использую ноутбук Zeppelin с интерпретатором% livy.pyspark.Я выполняю SQL-запрос к таблице Hadoop...
Мы периодически сталкиваемся с ошибкой в искре 2.4 при сохранении управляемой таблицы от искры....
Я выбрал нормализованный TF-IDF, а также ключевое слово RDD и теперь хочу вычислить косинусное...
Я пытаюсь сгладить данные в СДР.СДР структурирован как список из 4-х кортежей с первым элементом -...
Я пытаюсь построить конвейер больших данных в реальном времени с помощью Lambda-Architecture.До сих...
Я успешно создал спарк-кластер на Куберне с 1 мастером и 2 рабочими модулями.Искра v2.4.3 работает...
У меня есть фрейм данных pyspark со столбцом new_session, значение которого равно 1 или 0. Я хочу...
Есть ли у нас повторная конфигурация для Spark-SQL? У нас есть «spark.yarn.maxAppAttempts» для...
У меня есть тонна вложенных Json-файлов, которые нужно сгладить с помощью PySpark.Я хочу настроить...
У меня есть Dataframe: ID | program | --------|-----------| 53-8975 | null | 53-9875 | null |...
Как мне преобразовать этот оператор SQL в Spark SQL? replace_old_engagements_sql =...
Я пытаюсь отправить простую pyspark работу с внешними зависимостями в мой k8s кластер.Имейте в виду...
Я хочу записать свои данные (содержащиеся в кадре данных) в файлы паркета.Мне нужно разделить...
У меня есть значения столбца информационного кадра, где я получаю строковый ввод, как показано ниже...
Мне нужно загрузить данные из таблицы базы данных (Teradata) с помощью spark, но схема таблицы...
Используя Spark 2.4 и Hive 3.1.0 в HDP 3.1, я пытаюсь прочитать управляемую таблицу из куста с...
Я читаю данные из двух источников на этапах 2 и 3. Как вы можете видеть, на этапе 2 размер входного...
Я пытаюсь запустить задания склеивания AWS, используя конечную точку разработки, и сталкиваюсь с...
Мне нужно вставить данные из фрейма данных в таблицу на существующей таблице Postgres DB, используя...
У меня есть искровой фрейм данных со столбцом TF-IDF, и я хочу, чтобы к этому столбцу был применен...
Сначала я опишу проблему (не могу получить точный набор данных, и не уверен, как можно создать...
У меня есть датафрейм, в котором у меня есть 2 столбца. dataframe 1:- product | act a | A b | B c |...