Я пытаюсь обновить несколько полей в документе mongodb через Spark.Я извлек поля из другого фрейма...

Я пытаюсь присоединиться к DataFrame (dfA) последовательно в одном и том же DataFrame.Допустим, в...

Я новичок в Spark и читаю файл JSON, используя Spark SQL, в Dataset<Row>.Я хотел бы добавить...

Чтение потоковой передачи из темы кафки, где данные имеют метку времени.Эти данные могут иметь...

Я новичок в scala и scala-api spark, и я недавно попробовал scala-api spark на своем компьютере,...

Я пытаюсь переписать запрос SQL в PySpark.Ниже приведен SQL-запрос: SELECT cs.Environment, cs

У меня есть данные и вопросы, аналогичные задаваемым здесь вопросам: Spark sql, как взорваться без...

мой вход - это фрейм данных Spark: EventTime,Signal 0,-65 10,-63 20,-71 40,-65 50,-62 80,-81 90,-84...

Я пытаюсь прочитать конфигурационный файл и на основании этого мне нужно сформировать запрос, при...

Я создал фрейм данных, выполнив приведенный ниже код. from pyspark.sql import Row l =...

Предположим, у меня есть org.apache.spark.sql.DataFrame с этой схемой: root |-- origin: string...

У меня есть сценарий использования, в котором я передаю потоковые файлы (более 50 тыс. Столбцов),...

Я использую zipWithIndex, чтобы сгенерировать sequence_number и добавить его в виде отдельного...

Я хочу создать Spark DataFrame df одним из двух возможных способов: val dataSourceType =...

У меня есть фрейм данных, который выглядит как +--------+---+------+----+ |group_id| id| text|type|...

Код ниже работает нормально, но если какое-либо одно поле является NULL из 5 столбцов SAL1, SAL2,...

Использование Spark SQL 2.3 и Java-файла.Не используя БД.Создал java udf в отдельном классе и...

Впервые в Scala, я хочу попробовать переписать некоторый код в flatMap, вызвав функцию вместо...

Я обновил версию spark с 1.6 до 2.1.1.Я обновил версию Java и версию Scala.Но когда я запускаю...

У меня есть две почти идентичные записи в БД.заявление scala, однако одно выдает мне ошибку, другое...

Я пытаюсь преобразовать avro-файлы, сгенерированные в паркет, используя spark. Вот некоторые из...

У меня есть DataFrame, который я пытаюсь partitionBy столбца, отсортировать его по этому столбцу и...

Я получаю данные из файлов .csv, а затем регистрирую df как TempView.После этого я пытаюсь записать...

Я пытаюсь получить количество уникальных посетителей.Сначала я проверил его по общему количеству,...

У меня есть датафрейм, как показано ниже type f1 f2 value 1 a xy 11 2 b ab 13 3 c na 16 3 c dir 18...