Я хочу добавить dfs.namenode.servicerpc-address в моем кластере Hadoop.Использует ли Spark dfs

У меня есть 11 столбцов (от f_0 до f_9, цель) в моем кадре данных искры, которые имеют числовой тип...

Я новичок в Spark и Scala.Я использую пакет НЛП для анализа книги.Метод НЛП дает результат spark

У меня есть фрейм данных в pyspark, как показано ниже. df = sqlContext.createDataFrame( [...

Я пытаюсь создать миллионы вершин из текстового файла через граф Януса, используя spark. Код JAva:...

Я запускаю приложение Spark, используя spark-submit и определенные параметры JVM.С этим набором...

Я хочу, чтобы spark игнорировал некоторые неудачные задачи из-за проблем с данными.Кроме того, я...

import org.apache.spark.sql.{DataFrame, Column, SparkSession} object addColumn { def main(args:...

Я пытаюсь запустить пример приложения локально, используя: Scala (2.11), Spark (2.3.0) с...

Я пытаюсь запустить искру на своем ноутбуке в режиме одиночного режима, но получаю странную ошибку....

Во-первых, я совершенно новичок в scala и spark, хотя немного famailiar с pyspark.Я работаю с...

У меня есть DataFrame, и в нем есть столбец с именем Events.Итак, что я хочу сделать, это собрать...

Я использую Scala 2.12.7 и Spark 2.4.3, у меня есть алгоритм для вычисления kNN с использованием...

У меня есть текстовый файл, который похож на ниже 20190920 123456789,6325,NN5555,123,4635,890,C,9...

Хотелось бы знать, что аналогично SBT или MAVEN для SCALA, что мы будем использовать для pyspark...

Я знаю, если я хочу преобразовать xs: RDD[Option[T]] to List[T], я просто пишу xs.flatten Теперь,...

Я выгружаю таблицу Postgres с помощью команды копирования, выводимой в CSV. CSV содержит метки...

У меня есть процесс Spark, который зависает - казалось бы, навсегда - на данном этапе: [Stage...

У меня есть файл .csv, который я пытаюсь проанализировать с помощью spark.Файл .csv содержит,...

Мне нужно найти все недели года между указанными неделями. 201824 - это пример годовой недели.Это...

Пример данных У меня есть набор данных, который выглядит ниже и представлен в текстовом формате:...

19/09/19 11:49:05 INFO FileUtils: deleting...

Поддержка SSL / TLS на соединителе MongoDB Spark? Мы используем соединитель MongoDB-Spark для...

Применяет MAP () к Dataframe, всегда преобразует DF в RDD. scala> val custDF = sqlContext.read

Я использую pyspark для ежедневной обработки фиксированного набора записей данных и сохраняю их в...