Может ли Kinesis Agent распознавать дублирующиеся данные, добавляя режим и дедуплицируя их?
У меня есть служба Python, которая регистрирует новые данные в файл регистрации каждые 1 час. Новые данные будут добавлены в старый файл журнала вместо создания нового файла. В то же время у меня есть настроенный агент Kinesis для контроля моего файла журнала и передачи данных в пожарный шланг Kinesis.
Рабочий процесс похож на:
1. Час 0, у меня есть файл data-log, включающий данные 1, затем агент Kinesis передает данные. 2. Час 1, у меня есть файл data-log, включающий данные 1 + 2, затем агент Kinesis передает данные. 3. Час 2, у меня есть файл data-log, включающий данные 1 + 2 + 3, затем агент Kinesis передает данные.
В приведенном выше примере агент Kinesis передает данные 1 три раза, данные 2 дважды. Однако мне нужен только один набор данных 1,2,3.
Мой вопрос: как агенту Kinesis удается дедуплировать данные или нет?
Спасибо!