Мое выполнение искры завершается неудачно с AnalysisException: Undefined function:...

Я хотел знать, когда безопасно удалить узел из машины из кластера. Я предполагаю, что было бы...

Я пытаюсь читать файлы с использованием потокового воспроизведения. Я использую textFileStream для...

Spark 2.4.0 поддерживает Python UDF с режимом непрерывной обработки? В моем простом коде я...

У меня есть приложение pyspark, которое принимает сообщения из раздела Kafka, эти сообщения...

Когда мое приложение работает в кластере Spark, я знаю следующее 1) план выполнения 2) группа...

Я ищу решения для записи потоковых данных искры в kafka.Я использую следующий метод для записи...

Я пытаюсь извлечь объединенные интервалы данных на основе временных рядов в scala и spark У меня...

Я пытаюсь создать блокнот для блоков данных, чтобы прочитать XML-файл из озера данных Azure и...

Я бы хотел загрузить таблицу Hive (target_table) в качестве DataFrame после записи нового пакета в...

Я пытаюсь передать четвертый (targetFileCount) аргумент методу, как показано ниже val config =...

Я работаю в Spark 1.6.3. Вот две функции, которые делают одно и то же: def...

У меня есть этот сценарий.Мы должны предоставить функциональность, которая принимает любой тип RDD,...

У меня есть столбец time с отметками времени в форме 2018-04-12 06:48:39.Как я могу добавить...

Я использую кластер SparkHDInsights для запуска jar с помощью команды spark-submit. Я использовал...

Следующая команда генерируется инструментом ETL talend 6.4.1. Команда объединить все файлы работала...

Образец СДР выглядит следующим образом: (key1,(111,222,1) (key1,(113,224,1) (key1,(114,225,0) (key1...

Я выполняю задания Spark с помощью Spark REST API, как я могу получить stdout и stderr каждого...

У меня есть одна внешняя таблица в gs bucket, и для выполнения логики сжатия я хочу определить...

Я пытаюсь настроить конфигурацию нескольких параметров искры внутри оболочки pyspark. Я попробовал...

Когда я объявил MQTTUTils.createPairedStream (), я получил сообщение об ошибке типа значение...

Я надеюсь, что кто-то может помочь мне с этой проблемой.В настоящее время я работаю над проектом...

У меня есть требование для чтения файлов из папки HDFS. Я использую приведенный ниже код для чтения...

Приложение My Spark Structured Streaming запускается в течение нескольких часов, прежде чем выходит...

Поддерживает ли Spark SQL (DSL, а не API) оконную функцию в структурированной потоковой передаче