У нас есть полная фляга, которую мы используем на EMR, в которой хранятся все наши искровые задания...

Рассмотрим пример: У меня есть кластер с 5 узлами, и каждый узел имеет 64 ядра с 244 ГБ памяти. Я...

Сложность в том, что я стараюсь избегать UDF как можно больше. У меня есть набор данных "wordsDS",...

Я пытаюсь реализовать некоторый код в Scala Spark, в котором у меня есть мультиклассовая модель...

Я отправляю поток данных в Azure EventHub со следующим кодом, использующим Microsoft.Hadoop.Avro .....

Мы подробно обсудили нашу постановку проблемы здесь spark sql: Как добиться параллельной обработки...

Я знаю, что файлы паркета разделяются, если они хранятся в хранилище блоков. Например, хранятся в...

Я использую Cosmos DB Connector для Spark. Можно ли использовать запросы Mongo Shell "JSON-style" с...

Я пытаюсь материализовать поток из блоков данных в таблицу Snowflake: parsedStream .writeStream

У меня есть много столбцов в моем фрейме данных sparklyr (около 70), некоторые из которых должны...

Я хочу создать несколько столбцов из одного столбца из Dataframe, используя запятую в Java Spark. У...

Моя схема: StructField[] fields = new StructField[] { DataTypes.createStructField("id",...

Конфигурация кластера пряжи: 8 узлов 8 ядер на узел 8 ГБ ОЗУ на узел 1 ТБ жесткий диск на узел

Я пытаюсь использовать сохраненную модель Mllib для прогнозирования настроений при передаче данных...

Я пытаюсь понять оценку Спарк. Существует таблица table_name, которая разделена на partition_column

например: +------+ |items | +------+ | 1| | 14| | 11| | 3| | 0| | 0,13| | 8| | 7| | 7,11| | 13|...

В своем приложении для потоковой передачи данных я пытаюсь выполнить потоковую передачу данных из...

Я знаю, что сравнение стратегий объединения - сложная проблема. Но в обычных случаях я могу...

У меня есть CSV, для которого мне нужно создать df, который имеет столбец ArrayType, проблема в том...

Я знаю, что мы могли бы явно ANALYZE таблицу в Spark SQL, чтобы мы могли получить некоторую точную...

Я пытаюсь передать большой (~ 30 ГБ) фрейм данных в pandas_udf в spark следующим образом: @f

Базовый источник данных хранится в формате Parquet и предоставляется через Hive. Можно ли...

Обновленный вопрос Что мне непонятно => в ShuffleMapStage каждый Mapper создаст .data и .index file...

Я пытаюсь записать фрейм данных pyspark в базу данных Postgres со следующим кодом: mode =...

Я использовал Flintrock для запуска кластера Spark на AWS и остановил его после его использования....