Я попытался включить мониторинг с использованием асинхронного API, приведенного в документации -...

Приложение слушает 2 темы кафки userevent paymentevent Полезная нагрузка для использованияrevent...

У меня следующий json из потока Кафки [{timestamp: 2019-01-01T00:00:00z, id:A, value: 3.15}...

У меня есть события с "id and Map[String, List]" данными. Я группирую эти данные по id....

У нас есть Spark Streaming Application, работающий на Spark 2.3.3 По сути, он открывает поток...

Я использую структурированную потоковую передачу Spark для рекурсивного чтения многих файлов и их...

Я читаю строки журнала из темы kafka посредством потоковой структурированной искры, разделяю поля...

Я пытаюсь получить сообщения Кафки и обрабатывать их с помощью Spark в автономном режиме. Кафка...

Мой вариант использования 1. Считайте данные из Kafka, проанализируйте их и запишите в HDFS как...

Я пишу источник данных spark v2 в spark 2.3 и хочу поддерживать writeStream.Что я должен сделать...

Я работаю над вариантом использования удаления дубликатов записей из входящих структурированных...

Я использую Spark 2.3.2. Я получаю данные от Кафки.Я должен сделать несколько агрегаций на одних и...

Я пользуюсь pyspark 2.3.Мне нужно прочитать поток данных и, в конце концов, записать его в Oracle.Я...

Вызвано: org.apache.spark.SparkException: задание прервано из-за сбоя этапа: задание 0 на этапе 0.0...

Привет, у меня есть сценарий, в котором мне нужно захватывать вставки строк в реальном времени в...

Поддерживает ли Spark SQL (DSL, а не API) оконную функцию в структурированной потоковой передаче

У меня установлено приложение Spark Streaming, которое использует тему Kafka, и мне нужно...

Мне нужно пакетировать мой поток Kafka во временные окна по 10 минут каждое, а затем запустить...

Я использую Spark Structured Streaming для классического варианта использования: я хочу прочитать...

Мы развернули программу потоковой структурированной потоковой передачи, которая считывает данные из...

Я получаю данные JSON от Кафки методом from_json().Он ожидает от меня схемы.Моя структура JSON...

Я записываю свой фрейм данных искровой потоковой передачи в виде файла паркета в моей HDFS.Я создал...

У меня есть это приложение Spark, которое принимает поток Twitter. Я добавил столбец времени:...

Вопрос: Как я могу преобразовать строку JSON в DataFrame, а также выбрать только те ключи, которые...

Ниже приведен сценарий, который я тестировал Я создал 200 записей, и он создал 20 файлов по 10...