Я пытаюсь объединить Edge RDD с RDD (Long, Long, String).Мой край RDD выглядит следующим образом:...

У меня есть потоковое приложение Spark, написанное на Scala, работающее на CDH.Приложение читает...

Я пытаюсь получить искру, чтобы распечатать план sql на каждой итерации, через которую проходит...

Я новичок в scala и scala-api spark, и я недавно попробовал scala-api spark на своем компьютере,...

Я пытаюсь вычислить проводимость графика, используя GraphX.Чтобы добиться этого, мне нужно...

Я новичок в Spark и использую PySpark.Я заметил разницу в DAG PySpark для программы подсчета слов,...

У меня есть данные и вопросы, аналогичные задаваемым здесь вопросам: Spark sql, как взорваться без...

мой вход - это фрейм данных Spark: EventTime,Signal 0,-65 10,-63 20,-71 40,-65 50,-62 80,-81 90,-84...

Это моя функция применения правила, изменения столбцов mdp_codcat, mdp_idregl, usedRef в...

Я создал фрейм данных, выполнив приведенный ниже код. from pyspark.sql import Row l =...

У меня большой фрейм данных, который я записываю в паркетные файлы в HDFS.Получение из журнала...

Я пытаюсь выполнить широковещательное соединение на двух столах.Размер таблицы меньшего размера...

У меня есть 2 таблицы, T1 и T2.T1 читается из Postgres и меньше по размеру, но постепенно...

Я новичок в Apache Spark, а также в Scala, в настоящее время изучаю этот фреймворк и язык...

Пытаюсь протестировать безрамочный 0.7.0 с помощью spark 2.1, но когда я запускаю это: implicit val...

Я пытаюсь написать программу, которая может работать с расписанием DAG, и у меня возникла проблема,...

У меня есть сценарий использования, в котором я передаю потоковые файлы (более 50 тыс. Столбцов),...

Я пытаюсь установить py4j на Ubuntu как часть моей установки spark / pyspark.Я получаю сообщение об...

Я использую zipWithIndex, чтобы сгенерировать sequence_number и добавить его в виде отдельного...

Я хочу создать Spark DataFrame df одним из двух возможных способов: val dataSourceType =...

У меня есть фрейм данных, который выглядит как +--------+---+------+----+ |group_id| id| text|type|...

Я установил spark.yarn.tags в своем искровом приложении, и это видно и в моей конфигурации при...

Код ниже работает нормально, но если какое-либо одно поле является NULL из 5 столбцов SAL1, SAL2,...

Использование Spark SQL 2.3 и Java-файла.Не используя БД.Создал java udf в отдельном классе и...

Я пытаюсь загрузить таблицу из базы данных MS Access. Я делаю это так: val table = sparkSession