Хранить много маленьких файлов (на S3)? - PullRequest
1 голос
/ 27 сентября 2019

У меня ежедневно добавляется 2 миллиона заархивированных HTML-файлов (100-150 КБ), которые нужно хранить в течение длительного времени.Горячие данные (70–150 миллионов) доступны полугодично, к чему-то более старому, чем когда-либо, доступ почти не предоставляется.

Это означает, что каждый день я сохраняю дополнительные файлы объемом 200–300 ГБ.

Теперь стандартное хранилище стоит 0,023 долл. США за ГБ и 0,004 долл. США за Glacier.

Хотя Glacier стоит дешево, проблема в том, что у него есть дополнительные расходы, поэтому было бы плохой идеей сбросить2 миллиона файлов в Glacier:

PUT requests to Glacier $0.05 per 1,000 requests

Lifecycle Transition Requests into Glacier $0.05 per 1,000 requests

Есть ли способ склеивания файлов, но с сохранением их доступности по отдельности?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...