Могу ли я узнать, может ли потребитель kafka читать определенные записи, когда известны смещения...

Я экономлю DStream Кассандре.В Кассандре есть столбец с типом данных map<text, text>

У меня есть этот фрейм данных...

У меня DSTREAM, по которому я использую window метод.Затем в дальнейшем я делаю другие операции,...

Environment : EMR AWS Kinesis Steam Language : PySpark У меня есть входящий поток AWS Kinesis, и я...

Я читал стратегии очистки cassandra и наткнулся на следующее утверждение: If the data to be flushed...

Я запускаю Spark Streaming на EMR 5.19, и случайно мои потоковые микробатчи Spark продолжают...

У нас есть приложение, которое получает данные от конечной точки отдыха.Выполняет некоторую...

Я пытаюсь отправить структурированные потоковые данные pyspark вasticsearch и получаю приведенную...

Я предлагаю неплохо обработать огромную таблицу JDBC, читая строки партиями и обрабатывая их с...

Я использую spark 2.3.2 с pyspark и только что выяснил, что foreach и foreachBatch недоступны в...

Я хочу прочитать сообщение из темы Кафки в моей работе Spark Structured Streaming во фрейм данных

Я занимаюсь разработкой универсального приложения Spark, которое прослушивает поток Kafka с...

Я пишу преобразование Spark 2.4 для бенчмаркинга Spark, который получит потоки JSON из раздела...

Я установил Kafka и Spark на Ubuntu.Я пытаюсь читать темы Кафки через Spark Streaming с помощью...

Я пытаюсь извлечь самые популярные хэштеги через TwitterAPI. Код ниже работает, но только потому,...

Я использую HBaseContext.BulkGet API в потоковой передаче. Ниже мой код. def enrichMessage(rdd:...

может дать мне решение для многоуровневой агрегации потоковой структуризации. После поиска я...

У меня есть эта ошибка в моем коде (wordCount от Kafka), скомпилированном с SBT [error]...

У меня есть потоковый проект Spark, написанный на Java 8, полностью рабочий код. Теперь я пытаюсь...

Существует ли стандартный способ обработки Hbase как источника искрового потока? Hbase -> Spark...

Я учусь использовать Spark Steaming. Теперь мне нужно сохранить данные формата JSON в Kafka в базу...

Вот код потоковой передачи, который я запускаю, после запуска в течение двух дней он автоматически...

Перейдя к созданию системы анализа в реальном времени, я использую SparkStreaming и Cassandra в...

Я новичок в разработке scala / Spark.Я создал простое потоковое приложение из темы Kafka, используя...