Является ли потоковая обработка лучше, чем пакетная обработка для временных рядов Roll-Up / Aggregation?

Question

Фон -

Данные временных рядов поступают в Apache Kafka, который я храню в Cassandra. Поскольку необработанные данные требуют много места для хранения, я пытаюсь объединять данные и создавать ежечасные, ежедневные, ежемесячные сводки для отчетов. Я могу придумать два подхода:

1. Потоковая обработка: Используйте API-интерфейс Kafka Streams, чтобы свернуть данные и принять свернутые данные в Cassandra.
2. Пакетная обработка: Ввод необработанных данных в Cassandra, а также ведение индекса вновь загруженных ключей. Запустите планировщик для извлечения ключей из таблицы индексов, которые были недавно загружены с момента последнего запуска, извлечения временных рядов из Cassandra, свертывания и сохранения в ежечасных ежедневных таблицах.

Какой метод, по вашему мнению, лучше и почему?

Я попробовал метод пакетной обработки. Это позволяет мне наверстать упущенное, даже если в течение некоторого времени моя серия свертывания проваливалась / не выполнялась. НО я думаю, что тратить много ресурсов, чтобы обеспечить мне надежность.

Я ожидаю, что сворачивание будет выполнено, не съедая слишком много ресурсов.

Answer 1

Оба решения будут осуществимы. Поскольку у меня мало опыта с Cassandra, я упомяну только о возможностях решения этой проблемы с Kafka Streams:

• Kafka Streams поддерживает этот вариант использования из коробки с использованием окон и агрегатов:
  • https://kafka.apache.org/20/documentation/streams/developer-guide/dsl-api.html#windowing
  • https://kafka.apache.org/20/documentation/streams/developer-guide/dsl-api.html#streams-developer-guide-dsl-aggregating

• Это также позволяет обрабатывать опоздавшие записи:

  • https://kafka.apache.org/20/documentation/streams/core-concepts.html#streams_concepts_aggregations

• С Kafka Streams вам не нужно будет поддерживать отдельную базу данных, кроме Kafka, все ваши агрегаты будут выполняться внутри вашего клиентского приложения. Внутренне Kafka Streams будет использовать RocksDB в качестве опции хранения. Агрегированные результаты можно записать в отдельную тему вывода или запросить с помощью функции интерактивного запроса:

  • https://kafka.apache.org/10/documentation/streams/developer-guide/interactive-queries.html

Эта страница содержит несколько расширенных примеров:

• https://cwiki.apache.org/confluence/display/KAFKA/Kafka+Stream+Usage+Patterns