Я работал с 7 исполнителем, я сделал persist(StorageLevel.MEMORY_ONLY_SER). Когда я смотрел на...

Мой искровой фрейм выглядит так: +------+------+-------+------+ |userid|useid1|userid2|score |...

Я читал об искровых приемниках. Приемники создают блоки данных в течение интервала времени,...

Моя искровая работа: def saveCount(spark: SparkSession, cnt: Long): Unit = { val fs = FileSystem

У меня есть файл паркета на S3, который содержит несколько схем следующим образом:...

Мне нужно записать метку времени в раздел Kafka, а затем прочитать ее с нее. Для этого я определил...

У меня есть следующий предикат соединения Apache Spark SQL: t1.field1 = t2.field1 and t2.start_date...

Мне не удается загрузить модель и просто сохранить. У меня странная ошибка. from transforms.api...

Скажем, учитывая список атрибутов СДР как attrs в качестве исходных атрибутов ребер графа и графа...

У меня есть датафрейм df, подобный следующему +--------+--------------------+--------+------+ | id|...

У меня есть несколько CSV-файлов, которые я хочу загрузить в таблицу кустов, моя проблема в том,...

У меня есть 8192 различных записи в столбце, и я хочу перераспределить свой фрейм данных, чтобы...

Совершенно новый для настройки Spark.Я хочу сохранить журналы событий для каждого отдельного...

Spark дай мне эту ошибку после 4 часов работы Driver stacktrace: at org.apache.spark.scheduler

Я пытаюсь преобразовать весь df в один векторный столбец, используя df_vec = vectorAssembler

Когда я запускаю свою искровую программу, я вижу этот вывод, и чтобы замедлить до конца, что это...

У меня есть датафрейм с двумя столбцами, адресом и названием улицы. from pyspark.sql.functions...

Я хотел бы добавить (добавить) новый столбец к существующему фрейму данных с несколькими столбцами....

Привет, я новичок в Scala и GraphX. Итак, у меня есть граф с вершиной, как это graph.vertices

Привет, я еще новичок в graphX.Как мне создать vertexRDD с несколькими вершинами и свойствами...

Я собираю MonoSpark (на основе Spark 1.3.1) с JDK 1.7 и Hadoop 2.6.2 с помощью этой команды (я...

Я пытаюсь посчитать количество вхождений смайликов в строке в кадре искры.Я использую...

Я пытаюсь выполнить простой запрос на движке Hive - Spark: SELECT count(*) FROM...

Хотелось бы понять, как проверять / проверять / тестировать режим развертывания (режим клиента или...

Я хочу вызвать несколько искровых заданий, используя spark-submit в одном кластере EMR.EMR...