Есть ли способ для источника AWS s3 в конвейере обнаруживать реальные изменения файла?

Question

Я настроил корзину s3 в качестве источника для моего конвейера.

Но всякий раз, когда я загружаю файлы, конвейер срабатывает, независимо от того, является ли вновь обновленный файл точно таким же / без изменений.

Мне было интересно, есть ли конфигурация, которая будет только запускать конвейер, чтобы обнаружить фактическое изменение файла.

Answer 1

Путь действительно происходит, поэтому, с точки зрения S3s, объект изменился.Таким образом, конвейер сработает, даже если новый файл окажется идентичным старому файлу.В конце концов, вы также увидите предыдущую версию объекта, добавленную в историю версий и т. Д.

Если вы контролируете процесс загрузки, я бы предложил сначала извлечь метаданные объекта и только поместить обновленную версию, если она на самом деленесоответствия (например, другой хэш MD5).Это имеет смысл, поскольку оно также экономит саму загрузку.