В документации написано: enable.auto.commit: источник Kafka не фиксирует никакого смещения....

Я использую Spark Structured Streaming (2.3) для записи данных паркета в контейнеры в облаке...

Я пытаюсь понять странное поведение, которое я наблюдал в своем потоковом приложении Spark,...

Кто-нибудь знает, что соответствует LocalTableScan в Spark Structured Streaming? Я пытаюсь понять...

Я пытаюсь запустить некоторые тесты на моей локальной машине с потоковой структурой с искрой. В...

У меня есть кейс класса case class A(tm: java.time.Instant) При попытке получить StructType этого...

JsonData похожа на {reId: "1",ratingFlowId: "1001",workFlowId:"1"}, и...

У меня есть потоковая Dataset в Spark с определенной схемой.Когда я хочу вычислить запрос по нему,...

Моя команда сейчас вступает в сферу структурированного потокового вещания.Я относительно новичок в...

Я пытался найти способ повторной рассылки функций в различных событиях на основе временных отметок...

У меня есть потоковый фрейм данных, который в какой-то момент может выглядеть следующим образом:...

Я в основном использую пример, приведенный в документации Spark здесь со встроенным тестовым...

У меня есть следующий код для чтения и обработки данных Kafka с использованием структурированной...

Задача, которую я пытаюсь выполнить, состоит в агрегировании подсчета значений из измерения (поля)...