Как и в заголовке вопроса, я пытаюсь передать конфигурацию TypeSafe исполнителям, чтобы мой код мог...
У меня есть куча сообщений в kafka, и я использую потоковую обработку для обработки этих сообщений....
Я использую Dstream для приложения, и размер пакета всегда одинаков.Первоначально каждая партия...
val SCHEMA : Schema = .... dStream.map(b => deserialize(bytes)) def deserialize(b: Array[Byte]):...
Что я сделал (Структурированный поток) > 1.) ./bin/pyspark > 2.) spark > 3.) static =...
Я использую Spark-Streaming 2.2.1 на производстве, и в этом приложении я читаю данные из RabbitMQ и...
Я использую Apache Beam 2.4.0 с Spark Streaming 2.3.1, чтобы просто прочитать тему kafka и написать...
Я хочу прервать свою работу с потоковым воспроизведением, когда в течение определенного времени нет...
В моей программе spark у меня есть этот код: val df = spark.readStream .format("kafka")
Как упоминалось в разделе Performance Tuning , каждый входной DStream создает один приемник...
Проблема: существует тема JMS, и у меня есть следующие сведения о соединении: URL: xyz Фабрика...
Я использую автономный кластер Spark 2.3.1.Моя работа сводится к потреблению мини-пакетов Kafka...
Я изучаю Spark, но не могу понять, как сделать следующее: Я хочу вызвать список конечных точек REST...
Я только начал использовать scala-spark.Я хочу прочитать данные из MongoDB, а также потоковые...
Я создал приложение, которое использует Spark-Streaming с пользовательским приемником Google Pub /...
Я работаю над простым примером подсчета слов SparkStreaming для подсчета количества слов в...
Я работал над простым примером подсчета слов SparkStreaming, чтобы подсчитать количество слов в...
У меня есть скрипт на python, который каждую минуту получает данные о запасах (как показано ниже)...
У меня проблема с работой потокового воспроизведения.Эта работа сделает процесс ниже.- Чтение...
Рассмотрим общий вызов writeStream - с типичным «консольным» форматом вывода: out.writeStream
Я изучаю старую потоковую передачу Spark на основе https://spark.apache
У меня есть одно потоковое приложение DStream с Spark 2.3.1. , в котором я читаю данные из Kafka и...
У меня есть приложение для потокового воспроизведения, которое считывает поток Kafka и вставляет...
Документация Spark Streaming Установка правильного интервала дозирования рекомендует оптимальный...
Я использую Spark Streaming.У меня есть два потока: value-stream и user-thresholds stream.Каждые...