Apache Луч: Окно календаря внутри функции объединения - PullRequest
0 голосов
/ 29 мая 2020

У меня есть потоковый конвейер. Мне нужно агрегировать потоковые записи по календарному дню. В настоящее время у меня есть окно календаря (основанное на времени события), и в конце каждого окна я собираю и записываю его в базу данных. Мне нужно только сохранить количество этих записей, которые я получаю каждый день, и добавить один из столбцов в записи. С этим оконным режимом мне приходилось хранить все записи в памяти в течение дня (что составляет миллионы) и конца окна, которое я должен агрегировать.

С преобразованием Combine я могу агрегировать эти записи, когда Я получаю их и выбрасываю записи. Я не уверен, как добавить сюда функцию окна календаря (на основе времени события), чтобы иметь отдельные счетчики для каждого календарного дня.

Я прочитал, объединил и сгруппировал функции для каждого окна. Но для этого нам нужно будет выполнить работу с окнами перед функцией объединения и сохранить все записи в памяти.

Может ли кто-нибудь помочь мне выполнить агрегацию во время выполнения без сохранения записей в памяти.

...