Мне нужен набор данных из запроса к базе данных (источник данных JDBC), который содержит все строки, которые новее определенной временной отметки (например, select * from TABLE where created_at > ?).Но мне нужно, чтобы это обновлялось для каждой входящей микропакета. В идеале, я бы хотел каждый раз вносить изменения в набор данных, но одновременно сохранять максимум n строк (в отличие от перезагрузки всего набора данных каждый раз).время).Таким образом, я могу просто получить строки таблицы, которые были добавлены с момента последнего поиска.
Есть ли способ достичь этого (или что-то похожее) в Spark Structured Streaming?