Если по какой-то причине нам необходимо отключить кластер kafka и с помощью искровой потоковой...

Я хотел бы знать о модульном тестировании Spark Structured Streaming. Мой сценарий заключается в...

Приложение My Spark обрабатывает сообщения от Кафки и записывает их в Cassandra.Через 3 часа...

Я пытаюсь понять внутреннюю часть потоковой передачи Spark (не структурированной потоковой...

Я впервые использую pyspark. Версия Spark: 2.3.0 Версия Kafka: 2.2.0 У меня есть производитель...

У меня есть следующий код: val rawWeatherStream = KafkaUtils.createDirectStream[String, String,...

Я пытаюсь перенести мои API DStream в затрудненную потоковую передачу и сталкиваюсь с тем, как...

Я использую spark 2.4.0, используя python. и прочитайте данные из kafka_2.11-2.0.0 (бинарный не...

Я использую spark 2.4.0, используя python.и читать данные из kafka_2.11-2.0.0 (двоичный файл не...

Я использую SparkStreaming-Kafka и хочу поддержать поиск в режиме реального времени ElasticSearch с...

Можно ли достичь ровно одного раза, обратившись к теме Кафки в приложении Spark Streaming? Для...

Я пытаюсь запустить потоковое приложение искры с Kafka, используя пряжу.Я получаю следующую ошибку...

Я пытаюсь запустить искровой поток из очереди kafka, содержащей сообщения Avro. Согласно...

Ниже приведен сценарий, который я тестировал Я создал 200 записей, и он создал 20 файлов по 10...

У меня есть три раздела для моей темы Кафки, и мне было интересно, смогу ли я прочитать только один...

Я читаю сообщения из темы кафки messageDFRaw = spark.readStream\ .format("kafka")\

Я хочу прочитать сообщение из темы Кафки в моей работе Spark Structured Streaming во фрейм данных

У меня есть одно задание на структурированную обработку паром, которое читает потоки из kafka и...

При использовании Spark Cassandra Connector все потоковые данные всегда вставляются в базу данных...

У меня есть приложение Scala Spark, в котором мне нужно переключаться между потоковой передачей от...

Я создал образец темы в kafka и пытаюсь использовать содержимое в spark, используя приведенный ниже...