Мы используем Spark 2.3 и столкнулись со странной проблемой.Задание потоковой передачи отлично...

Я использую spark 2.3.1 и kafka 0.10 с приведенными ниже зависимостями: kafka-avro-serializer-3.2.1

Я рассматриваю пример StructuredNetworkWordCountWindowed в структурированной потоковой передаче...

У меня DSTREAM, по которому я использую window метод.Затем в дальнейшем я делаю другие операции,...

У меня есть три раздела для моей темы Кафки, и мне было интересно, смогу ли я прочитать только один...

Я сталкивался с тремя популярными потоковыми техниками, такими как Spark Streaming, Structured...

Я сейчас просыпаюсь при потоковой передаче искровой структуры, версия 2.11.Могу ли я выполнить...

Исключает структурированную задержку потоковой передачи данных каждый раз, когда поступают новые...

Я пытаюсь создать структурированный поток из Кафки в Spark, который представляет собой строку json

Я читаю файлы паркета и конвертирую его в формат JSON, а затем отправляю в kafka.Вопрос в том, что...

Здесь я отправляю данные json в kafka из темы «test», передаю схему json, выполняю некоторые...

Я ищу решение для добавления значения временной метки kafka в мою схему структурированной потоковой...

Я использовал to_avro для сериализации поля структуры в dataframe в 'value' и записи в тему kafka....

Когда я пытаюсь запустить потоковое приложение Spark с интеграцией Kafka, я получаю эту ошибку:...

Архив содержит простые текстовые файлы, но когда я читаю архив с s3 через: val streamDF = spark

Я работаю с Kafka 2.11 и довольно плохо знаком с ним. Я пытаюсь понять группы потребителей kafka, у...

Я использую тему Кафки с startingOffsets, установленным на earliest. Срок хранения кластера...

может дать мне решение для многоуровневой агрегации потоковой структуризации. После поиска я...

Я использую следующий потребительский код в Spark для чтения из темы Кафки: val df = spark .read

Я экспериментирую с режимом непрерывной обработки Spark в структурированном потоке и читаю тему...

Самое простое решение, которое я могу придумать, - это присоединить к Log4J приложение для журналов...

ОБНОВЛЕНИЕ: Исправлена ​​ошибка.Была проблема с версиями.Нужно поменять spark-core и другие до...

Итак, в одной из наших тем о kafka есть около 100 ГБ данных.Мы запускаем потоковую передачу с...

Я создал тему kafka с помощью следующей команды, kafka-themes --create --zookeeper 10.0.2.11:2181...

Я хотел бы объединить разные столбцы из разных фреймов данных, избегая добавления индекса и...