reduce: функция принимает накопленное значение и следующее значение, чтобы найти некоторую агрегацию

В scala с spark-2.4 я хотел бы отфильтровать значение внутри массивов в столбце. От...

Создание нескольких столбцов из столбца массива Фрейм данных Car name | details Toyota | [[year...

Я пытаюсь выполнить относительно простую задачу в Spark, но она быстро становится довольно...

Новичок для искры.Часто см. Структуру .distinct (). Collect ().Какова может быть внутренняя причина...

У меня есть датафрейм, загруженный из JSON.Имеет 10 строк и 10 столбцов.Я должен выполнить...

На Youtube есть старая (2014 год) беседа, в которой докладчик представлял план запроса прямо в...

У меня есть пример данных, как показано ниже, мне нужно будет преобразовать столбцы (ABS, ALT) из...

Я выполняю итерацию по искровому фрейму данных и хочу объединить два столбца для каждой строки. df

Я читал об искомых предикатах spark и сокращении разделов, чтобы понять объем прочитанных данных.У...

Я новичок в Spark 2.4 с Java 8. Я получил ответ на мой последний подобный запрос.Но если я добавлю...

У меня есть таблица в Hive, которая имеет схему: root |-- startdate: string (nullable = true) |--...

Примечание : это НЕ дубликат следующих (или нескольких других аналогичных обсуждений) Вложенные...

Мне нужно хранить и извлекать смещения Кафки из задания Spark Dataframe в пакетном режиме ,...

Добрый день, коллеги. Это ограничение профиля ((col1 = valueA 3) or (col2 = ValueB 2)) - Common sql...

Мой сценарий использования выглядит следующим образом: Чтение одного или нескольких информационных...

Я использую spark-sql 2.4.1, spark-cassandra-connector_2.11-2.4.1.jar и java8.У меня есть сценарий,...

У меня есть фрейм данных, показанный ниже в «Текущем фрейме данных» после потоковой передачи из...

У меня есть искровой фрейм данных, который выбирает данные из таблицы кустов cloudera, с примерно 4...

У меня есть данные в фрейме данных, которые были получены из Azure EventHub.Затем я преобразовываю...

До сих пор мне удавалось найти примеры, где вы можете сканировать / запрашивать HBase либо по...

Я выставлю свою проблему на основе исходного кадра данных и того, которого я хочу достичь: val...

Я хочу написать Spark Dataframe в формате Parquet.snappy в HDFS.В настоящее время он создает по...

Требуется получить StructType (имя поля и DataType) иерархии схемы (вложенная схема) и поместить...

У меня есть два кадра данных df_1: ID | title | name | age ---------------------------------- 32 |...