Потоковое мерцание, как сделать подсчет?

Question

Я сталкивался с сообщением Масштабирование конвейера обработки событий Klaviyo с потоковой обработкой , в этом сообщении люди в компании под названием Klaviyo выполняют подсчет на разных таймфреймах, ежечасно, ежедневно, даже ежемесячно.

У меня есть пара вопросов, если я правильно понимаю, они используют временное окно, но нормально ли использовать временное окно для такого длительного времени, как день?!

Это не имеет смысла для меня, если вы проводите ежедневный или ежемесячный подсчет, почему бы не использовать пакетную обработку? Каково основное преимущество использования потоковой передачи в таком случае?

---

Другой случай, если мне нужно посчитать событие кафки с самого начала, в реальном времени , каково реальное решение? Использовать потоковую передачу flink для обновления «счетчика» в redis каждый раз, когда происходит событие? Если kafka довольно занят, например, несколько миллионов сообщений в секунду, разве не будет слишком много ввода-вывода и сети?

Answer 1

Это не имеет смысла для меня, если вы делаете ежедневно или ежемесячно считая, почему бы не использовать пакетную обработку? Что является фундаментальным польза от использования потоковой передачи в таком случае?

Уверен, вы можете выполнить другую пакетную обработку. Но как вы справитесь с повторным процессом? вам нужно перезапустить пакетный процесс и процесс в реальном времени, и данные могут не совпадать, потому что у вас есть два процесса.

для агрегации в днях, есть решение rock-db, поэтому данные не взрывают память. (в KafkaStream данные даже сохраняются обратно в Kafka).

если вам нужно обновлять счетчик всякий раз, когда происходит каждое событие, вопрос заключается в том, должен ли кто-то видеть счетчик в 0,001 миллисекунде? потому что вы можете дозировать потоковый конвейер за 0,3 секунды, что люди могут в лучшем виде. Вот почему люди также говорят «1009», что означает, что это не в режиме реального времени, а уже удовлетворяет потребности.