В python spark я хочу знать, возможно ли настроить моего собственного потребителя kafka с потоковой...

Привет, у меня есть сценарий, в котором мне нужно захватывать вставки строк в реальном времени в...

Когда я объявил MQTTUTils.createPairedStream (), я получил сообщение об ошибке типа значение...

Мы работаем с Spark 2.4.0 / Scala 2.11 и запускаем несколько потоковых приложений Spark, слушающих...

У меня следующий код pyspark, который я использую для чтения файлов журнала из журнала / каталога,...

Я хочу интегрировать Apache Kafka и Spark Streaming, я использую spark-streaming-kafka-0-8_2.11, я...

Может кто-нибудь, пожалуйста, помогите мне в этом.У меня проблема с производительностью при...

Я пытаюсь транслировать данные из темы kafka avro. Ниже приведен мой фрагмент кода: val...

Я новичок в докере.Я пытаюсь запустить потоковое приложение с использованием докера. У меня есть...

Назначение - сохранить пользовательский журнал из потокового приложения в каталог HDFS или UNIX для...

Я недавно обновил HDP с 2.6.5 до 3.1.0, на котором работает YARN 3.1.0, и я больше не могу убивать...

Я пытаюсь загрузить данные из потока kafka в СУБД Oracle и улей, сообщения в Hive записываются...

Я сталкивался с тремя популярными потоковыми техниками, такими как Spark Streaming, Structured...

Я должен написать код для потокового воспроизведения (API createDirectStream).Я буду получать около...

Я сталкивался с конфигом spark.streaming.kafka.consumer.cache.enabled = false в свойствах нашего...

Я читаю потоковые сообщения, используя KafkaUtils.createDirectStream и использую commitAsync для...

Я использую spark-streaming-kafka-0-10_2.11 и spark-streaming_2.1.Я использую следующий код для...

У меня есть заказанная тема Кафки только с одним разделом.Я хочу прочитать его из Spark (Spark...

Приведенный ниже код работает и фиксирует смещение после обработки данных.Но проблема в том, что он...

Я пытаюсь создать структурированный поток из Кафки в Spark, который представляет собой строку json

Мне нужно обновить широковещательную переменную с течением времени (скажем, через определенный...

У меня есть сценарий оболочки, который инициализирует задание потоковой передачи искры в режиме...

Когда я использовал redis в процессе потоковой обработки искры, блок if ... else в foreachRDD,...

Мое приложение Kafka считывает потоковые данные в реальном времени, обрабатывает их и сохраняет в...

Я подключаюсь к Kafka Brokers, защищенным с помощью SSL, и опрашиваю каждые 60 секунд. затем,...