Я пытаюсь проверить некоторые данные в новом файле hdfs при обработке текстового файла с помощью...

Я работаю над приложением на основе Apache Flink, которое использует Apache Kafka для ввода и...

Можно ли применить агрегатные функции к нескольким столбцам в окне информационного блока в pyspark?...

Я пытаюсь сохранить данные с локального экземпляра Kafka на локальный Postgres с помощью Spark...

Как мне получить функцию более высокого порядка в Scala для правильного принятия предиката...

есть несколько запросов в задании спарка, когда я запускаю это задание, я обнаружил, что каждый...

Я новичок в Spark и немного читал о мониторинге приложений Spark.По сути, я хочу знать, сколько...

У меня есть потоковый фрейм данных Spark с временным окном в час, которое срабатывает каждую минуту

Я пытаюсь закинуть свою искровую работу с помощью службы apache oozie в редакторе HUE, после...

Мне нужно количество строк в тексте JSON, где A.adList.optionalField = null JSON выглядит так: {...

Я только что опубликовал проблему, надеюсь, я не перешагнул протокол! https://issues.apache

Допустим, у меня есть набор данных [MyData], в котором MyData определяется как: case class...

У нас есть 30-узловый кластер Hortonworks (HDP-2.6.2.0), на котором мы запускаем Zeppelin и...

Сбой приложения Spring boot на кластере mesos Я запускаю приложение Spring-boot для spark,...

Я хотел бы знать, как пропустить заголовки, когда искра потребляет данные из kafka. моя тема kafka...

Я использую spark и scala на jdk1.8. Я новичок в Scala. Я читаю текстовый файл (pat1.txt), который...

У меня в кадре следующий фрейм данных s s_type o o_type ----------------- s1 ss1 o1 oo1 s2 ss2 o2...

Я ищу, чтобы загрузить файл, который был сохранен в s3 с помощью многораздельной загрузки.Я...

Я хотел бы объявить udf, который возвращает 2 1D массива или 1 2D массив (пример обоих был бы...

У меня есть значения в фрейме данных, и я создал структуру таблицы в Teradata.Мое требование -...

У меня есть кластер искр с пряжей и hadoop в Azure, используя Hdinsight.Мой кластер состоит из 2...

Я пытаюсь изменить тип данных столбца, присутствующего в кадре данных I, который я читаю из базы...

Я новичок в Spark и Scala. Я создал DataFrame из CSV в Spark.В сгенерированном DataFrame есть...

Я установил pyspark в среде миниконды на Ubuntu через conda install pyspark.Пока все работает...

В последнее время искра способна пробежать в кубернетес .Тем не менее, руководство пользователя в...