Я читаю сообщения из темы кафки messageDFRaw = spark.readStream\ .format("kafka")\

В моем текущем сценарии;Нифи собирает данные, затем отправляет в Кафку.Тогда любой потоковый движок...

Я хотел бы использовать Spark для разбора сетевых сообщений и группировки их в логические объекты с...

Мне нужно иметь два динамических совместно используемых кэша (в основном, типа hashmap) для...

У меня есть следующая таблица: DEST_COUNTRY_NAME ORIGIN_COUNTRY_NAME count United States Romania 15...

У меня есть заказанная тема Кафки только с одним разделом.Я хочу прочитать его из Spark (Spark...

У меня есть сценарий использования, когда я пишу пакетное задание Мне нужно прочитать тему Кафки и...

Я выполняю несколько давних заданий Spark Structured Streaming, которые содержат несколько...

Используют ли Spark Streaming и Spark Structured Streaming один и тот же механизм...

У меня есть потоковый фрейм данных Spark с временным окном в час, которое срабатывает каждую минуту

Я хотел бы знать, как пропустить заголовки, когда искра потребляет данные из kafka. моя тема kafka...

Я пишу приложение для пакетных заданий spark, которое будет считывать данные из темы kafka и...

У меня есть программа структурированного потокового вещания на основе scala, которая должна...

Я использую метод dropDuplicates () в Spark Structured Streaming 2.2.1 и мне нужно рабочее решение...

У меня есть потоковый источник Kafka с JSON, например, {"type":"abc"...

Я создал SparkConsumer, чтобы я мог отправить файл CSV в Kafka через Spark Structured Streaming. Я...

Сценарий: работа с Spark Streaming в структурированном SQL. Я должен реализовать набор данных...

Я пытаюсь прочитать сообщение от Кафки.Сообщение в следующем формате (пример):...

В пакетных заданиях спарк обычно у меня есть источник данных JSON, записанный в файл, и я могу...

Я использую Spark 2.4.0 с Scala 2.11 на 4 процессорных ядрах и 8 потоках. Я написал следующее...

Я пытаюсь прочитать поток orc в java: Набор данных d2 = sparkSession.readStream (). Format ("orc")

У меня есть задание структурированной потоковой передачи Spark с включенной контрольной точкой,...

Я был удивлен, увидев, что Spark получает данные из Kafka только с одним потребителем Kafka, и этот...

У меня есть требование для потоковой передачи, когда мне нужно преобразовать GenericRecord в...

Использование spark-streaming для получения данных из Kafka и последующей записи их в HDFS в...