Моя компания создала очень много инструментов, которые все используют S3 в качестве резервного хранилища и читают и записывают файлы CSV.
Мы столкнулись с проблемами, связанными с инструментами, использующими различные кодировки, разделители CSV,и т.д. Я хотел бы применить строгие правила на S3. Например, «все файлы в корзине X должны быть действительными файлами CSV в кодировке UTF-8».
Я вижу, что вы можете установить некоторые базовые политики S3 для имени файла (например, принять только * .CSV), но ничего похожего на то, что я хочу.
Есть предложения, как этого добиться? Мои идеи на данный момент таковы:
- Запустить лямбда-триггер, который сообщит мне, если был загружен неверный файл, поэтому я, по крайней мере, знаю, что это произошло
- Написать сервис, который оборачивает S3API и выполняет эту строгую проверку, и только предоставляет нашим инструментам доступ к этому сервису