Сначала я читаю текстовый файл и превращаю его в RDD [(String, (String, Float))]: val data = sc

Схема кадра данных df10 root |-- ID: string (nullable = true) |-- KEY: array (nullable = true) |...

Я использую версию Spark Streaming 2.3.0, которая использует Jackson 2.6.7.Я использую библиотеку...

У меня есть проблема, когда я должен принять большой поток данных, где каждый элемент - это человек...

У меня следующий код: def main(args: Array[String]) { val conf = new SparkConf()

Я использую kafka версии 2.11-1.0.1 и Spark версии 2.0.2.Я должен сделать dataframe для ответа...

У меня есть следующий код Scala, который я использую для записи данных из файла json в таблицу в...

Я хотел сделать простую вещь. На моем искровом кластере я преобразовал свой массив данных Spark в...

val tableDF = spark.read.option("delimiter",",")

В Apache Spark есть стратегии разделения.Хеш-разметка, Range-разметка и возможность записи...

Как я могу преобразовать значение ключа rdd в rdd с помощью только списка значений в PySpark?...

Учитывая, что файлы Avro и Parquet содержат и данные, и схему для этих данных, то в Spark должна...

Задача, которую я пытаюсь выполнить, состоит в агрегировании подсчета значений из измерения (поля)...

Я пытаюсь выполнить кластеризацию с помощью kmeans.Мой набор данных: https://archive.ics.uci

У меня есть XML-файл с несколькими строками строк.Мне нужно преобразовать этот XML-файл для...

Я работаю со Spark 2.2.0. У меня есть DataFrame, вмещающий более 20 столбцов.В приведенном ниже...

Я использую HiveContext для удаленного запроса таблицы кустов в кластере hdfs через spark 1.6.0 и...

Я получаю один фрейм данных методом https://spark.apache.org/docs/2.3.0/api/scala/index.html#org

Привет всем, При чтении данных из файла в искре я получаю сообщение об ошибке, как будто путь не...

Можете ли вы помочь мне оптимизировать этот код и заставить его работать?это исходные данные:...

Я не смог найти ни одной дискуссии по теме ниже ни на одном форуме, который искал в интернете.Это...

У меня есть два вопроса: Без добавления какого-либо дополнительного кода для печати логического и...

Я запускаю спарк-оболочку с докером.Автозаполнение spark-shell работает нормально, когда я запускаю...

Я написал собственную библиотеку искр в Scala.Я могу выполнить это успешно, как шаг spark-submit,...

Как реализовать собственный приемник в режиме добавления и обновления в Apache Spark 2.3? Я понимаю...