Я хочу иметь возможность уничтожать СДР после завершения отправленной работы. Или, если существует...

У меня есть кластер Hadoop с двумя узлами и одним мастером. У меня будет API, который отправляет...

Мне нужно было бы полностью сгладить многие (10TB +) все столбцы json в каждом файле. Моя структура...

У меня есть схема данных ниже, как df.currentSchema, и мне нужно получить ожидаемую схему как df

Оптимизирует ли Spark DAG при обнаружении действия? Мне известно, что DAGScheduler конвейерно...

У нас есть простой искровой поток из темы кафки (с 8 разделами), созданный как показано ниже и...

Я хочу знать до того момента, когда Dataframe или RDD будет оставаться в живых или когда он умирает...

По моим выводам, запуск нескольких sparksqls с разными группами заданий не помещает их в указанные...

Я сгенерировал файл паркета с одним из типов данных столбца: datetime64. Когда я читаю этот файл...

У меня есть автономный кластер с искрой (3 узла), где программа драйвера работает на главном (1...

Я написал функцию FilterFunction в Spark для фильтрации строк из набора данных. Он работает...

У меня есть 2 таблицы, Staging: это таблица кустов. Куратор: это дельта-таблица Databricks. Мне...

Я подключился через SSH к конечной точке Dev в Glue. Работает Spark 2.4.1. Я хочу выполнить простой...

У меня есть фрейм данных Pyspark, где один из столбцов является массивом строк (длина массива может...

У меня есть следующие Sequence и DataFrames: df1.select("link1", "link2").show...

Есть хорошие примеры его использования, как здесь , но для spark-shell "... createDF не является...

У меня есть такой фрейм данных: | ID_VISITE_CALCULE|...

У меня есть кластер EMR в AWS. Я создаю сервер RStudio для использования этого кластера. Я могу...

Я очень новичок в Apache Spark. У меня есть очень простой вопрос: что лучше с точки зрения...

Я попытался записать данные в couchbase, используя потоковую структуру, я сослался на соединитель...

При записи фрейма данных в файл csv с запятой, разделенной в некотором месте, целью является...

Я читаю файлы Json со следующей схемой: root |-- events: struct (nullable = true) | |-- profile:...

Нам нужно ежедневно преобразовывать текстовые данные в паркет / авро, когда входные данные...

Я настроил pyspark на машине EC2 с двумя узлами. Я запускаю pyspark с помощью команды pyspark...

Получение нулевых исключений или никаких действий при попытке использовать искру под foreachrdd и...