Я бился головой об этом некоторое время, и я официально застрял.Я пытаюсь скомпилировать jar-файл,...

Я выполняю перекрестную проверку spark ml с помощью regParam для логистической регрессии как части...

У нас есть скрипт, который отображает данные в фрейм данных (мы используем pyspark).Данные...

В Spark 2.2.0: я читаю в одном файле, используя spark.csv.read("filepath").load().rdd

Аккумуляторы и широковещательные переменные - это способ иметь общие переменные во всех узлах...

Я использую приемник для сохранения Spark (2.3) Структурированного потокового фрейма данных в...

У меня есть простые данные как: +--------------------+-----------------+-----+ | timebucket_start|...

Я запустил SpriK-сервер Spark на порте 10015. Он запустился успешно, и я также могу подключиться к...

Моя цель состоит в том, чтобы подготовить в spark / Hadoop информационный фрейм, который я буду...

Когда я запускаю свой код в локальном коде, он работает нормально.Однако, когда я запускаю его в...

Я начал исследовать Spark Structured Streaming, чтобы написать несколько приложений, которые до...

Я изо всех сил пытаюсь создать udf для извлечения некоторых данных столбца.Столбец хитрый,...

Я запускаю приложение pyspark, которое состоит из одного этапа.Количество задач на этапе зависит от...

Используя Spark для обучения модели, параметры трансляции обновляются во время обучения, и в начале...

У меня есть следующий код для чтения и обработки данных Kafka с использованием структурированной...

Я включил перечисленные ниже конфигурации в мое приложение для потоковой передачи искры, но я не...

У меня есть работа по обогащению данных, и я обогащаю свои данные из источника данных (одна тема...

нужна помощь в интерпретации журнала ошибок от Spark.Насколько я понимаю, кеш не должен запускать...

Попытка преобразовать серию сжатых gz в формат паркета. В процессах пытаются сделать какие-то...

Мой фрейм данных выглядит так: df.schema приводит к: StructType( StructField(a,StringType,true),...

У меня есть такой код с многострочным запросом val hiveInsertIntoTable = spark.read.text(fileQuery)

У меня есть два разных стека докеров, один для HBase и один для Spark.Мне нужно вывести банки HBase...

У меня проблема с: running beyond physical memory limits. Current usage: 1.5 GB of 1.4 GB physical...

Учитывая, что это работает: (1 to 5).iterator.sliding(3).toList Тогда почему это не работает? val...

Я пытаюсь выполнить следующий код: import org.apache.spark.sql.types._ val schema = StructType(...