Как я могу получить пересечение значений в парах ключ-значение? У меня есть пары: (p, Set(n)) , в...

В моей программе Spark есть несколько объединений таблиц (с использованием SPARKSQL), и я хотел бы...

У меня есть следующий фрейм данных val tDataJsonDF = kafkaStreamingDFParquet

Я загрузил паркетный стол из HDFS в DataFrame: val df = spark.read

Более новый соединитель spark-cassandra устарел / удалил CassandraSQLContext, который позволял...

Я пытаюсь отправить приложение spark на отдельную виртуальную машину кластера spark (2.1.1),...

Я не специалист по искрам, поэтому приношу свои извинения, если я далеко. Мы используем apache...

Моя текущая работа заключается в создании процессов ETL с SparkSQL / Scala с использованием Spark 2

У меня есть особое требование для денормализации данных, как показано ниже: Исходный кадр данных:...

Я новичок в Spark. Я хочу вывести 2 верхних упоминания в твиттере, используя этот файл test.txt: "Я...

Обратите внимание, что этот вопрос не является дубликатом этого ! Я не использую Spark SQL для...

Когда я запускаю этот код, в некоторых случаях я получаю пустую ошибку коллекции. val result = df

Итак, я пытаюсь сгенерировать XML, который имеет структуру ниже. <n:Brands> <n:Brand>...

Я запускаю искровую работу, написанную на Scala. val conf = new SparkConf()

Я сталкиваюсь с проблемой, когда пытаюсь остановить JavaStreamingContext объект, который находится...

Я новичок в Spark. У меня есть сценарий, в котором мне нужно прочитать и обработать файл CSV из AWS...

Я новичок в программировании на spark и scala, я пробовал запустить пример с spark-submit в...

String folder = "/Users/test/data/*/*"; sparkContext.textFile(folder, 1).toJavaRDD()...

У меня есть кадр данных, как показано ниже: ---------------------+------------------------ text |...

Я пытался использовать Kafka, используя Spark, а точнее PySpark и Structured Streaming. import os...

Я хочу записать данные потоковой передачи структуры в Cassandra с помощью API Pyspark. Мой поток...

Я выполнил код Scala в IntelliJ IDEA для spark.streaming.kafka, где я использую scala версии 2.11,...

Я пытаюсь просто выполнить простой строковый фильтр с API набора данных, используя startsWith, но я...

Я пытаюсь создать пару ключ-значение из текстового ввода, где ключ будет String, а значение будет...

Мой dataframe завершается ошибкой из-за NumberFormatException в одном из вложенных полей JSON при...