У меня есть приложение, где
В день генерируется от 1 до 100 миллионов даже более мелких XML-файлов, и я должен загрузить их в одну из корзин S3, как только в отдельных XML-файлах.
Эта корзина S3 связана с CloudFront, чтобы наш клиент по всему миру мог быстрее получать доступ к XML-файлам.
У меня все работает нормально, кроме затратной части.
Стоимость S3-запроса увеличивается с каждым днем, так как количество файлов не увеличивается.
Файлы должны быть отправлены, как только они появятся, и должны быть доступны для доступа из cloudFront.
Есть ли какое-нибудь решение, которое может сэкономить мои затраты здесь?
Размер xml-файлов не более 2 КБ.
Позвольте мне уточнить здесь еще несколько моментов, которые я пробовал до сих пор.
Я подумал объединить все небольшие xmls в первый раз и затем отправить их на S3, но проблема в том, что у нас должно быть некоторое вычисление в AWS, чтобы извлечь его снова в небольшие файлы, потому что конечный пользователь будет принимать только отдельные файлы xml.
А извлечение и создание небольших файлов и повторное сохранение в S3 обойдется еще дороже.
Поэтому, пожалуйста, не стесняйтесь предложить какую-то другую систему вместо S3, которая может подойти для этого варианта использования.
Я также пробовал HBASE, но проблема запуска и управления HBASE в AWS.
Также мы попробовали Dynamo DB, но это также стоило дороже.