Я не понял состояния в оконном процессе. Например; val sums = levels....

В сообщении блога "Представление объединений Stream-Stream в Apache Spark 2.3" обсуждается...

Когда у меня есть несколько этапов агрегации, каждый этап использует выходные данные последнего...

Я построил несколько запросов Spark Structured Streaming для выполнения в EMR, они являются долго...

Я читаю данные из Kafka с помощью Spark Structured Streaming и хочу включить метку времени Kafka в...

Я читаю данные из Kinesis и записываю их в ElasticEearch через структурированную потоковую передачу...

Существует очень простой код для чтения данных из Kafka и записи значения в dataframe в другой...

Я интегрировал Spark Structured Streaming с Kafka, в котором я слушаю 2 темы def main(args:...

Сценарий немного отличается от классического объединения поток-поток streamA : поток транзакций:...

Я могу разработать конвейер, который читает из kafka, выполняет некоторые преобразования и...

Можно ли использовать потоки Kinesis в качестве источника данных для структурированной потоковой...

Я получаю исключение, которое указывает, что мне нужно запустить поток, чтобы использовать его. Тем...

Я читаю данные из Kafka, используя структурированную потоковую передачу, и мне нужно сохранить...

У меня есть задание Spark Structured Streaming, которое настроено на чтение данных из Kafka....

У меня проблема с контрольными точками в рабочей среде, когда spark не может найти файл из папки...

У меня есть следующий фрейм данных val tDataJsonDF = kafkaStreamingDFParquet