AWS EFS для критически важных небольших файлов с частыми обновлениями - PullRequest
0 голосов
/ 04 февраля 2019

База пользователей нашего приложения достигла 2 миллионов пользователей, и мы планируем масштабировать приложение с помощью AWS.

Основная проблема, с которой мы сталкиваемся, - это обработка общих данных, включая кэш, загрузки, модели, сеансыи т. д.

Опция - AWS EFS, но она снижает производительность приложения, поскольку файлы будут очень маленькими - от нескольких байтов до нескольких МБ и обновляются очень часто.

Мы можем использовать Memcache / Redis для сессий и S3 для выгрузки, но все же необходимо управлять кешем, моделями и некоторыми другими общими файлами.

Есть ли альтернатива EFS или какой-либо способ заставить EFS работать в этом сценарии, гденебольшие файлы часто обновляются?

1 Ответ

0 голосов
/ 05 февраля 2019

Небольшие файлы и частые обновления не должны быть проблемой для EFS.

Проблема, с которой сталкивались некоторые пользователи в первоначальном выпуске, заключалась в том, что у него было два тесно связанных между собой измерения: объем доступной пропускной способности зависел от того, сколько вы платили, а от того, сколько вы платили, была функцией.от общего размера файловой системы (все файлы объединены, независимо от размеров отдельных файлов) ... так что чем больше, тем быстрее.

Но с тех пор они ввели «обеспеченную пропускную способность», позволяющую вамРазделите эти два измерения.

Этот режим разрыва пропускной способности Amazon EFS по умолчанию предлагает простой интерфейс, который подходит для большинства приложений.Теперь, с выделенной пропускной способностью, приложения с требованиями к пропускной способности, превышающими те, которые разрешены в режиме пакетной передачи Amazon EFS по умолчанию, могут достигать требуемых уровней пропускной способности немедленно и последовательно независимо от объема данных.

https://aws.amazon.com/about-aws/whats-new/2018/07/amazon-efs-now-supports-provisioned-throughput/

Если вы используете эту функцию, вы платите за разницу между предоставляемой вами пропускной способностью и пропускной способностью, которая в любом случае была бы включена, в зависимости от размераданных

См. также Производительность Amazon EFS в Руководстве пользователя файловой системы Amazon Elastic * .

Предусмотренная пропускная способность может быть активирована и деактивирована,так что не путайте это с тем фактом, что есть также два режима производительности, называемые General Purpose и Max I / O , один из которых должен быть выбран при создании файловой системы, иэтот выбор не может быть изменен позже.Они связаны с необязательным компромиссом в базовой инфраструктуре, и рекомендуется выбирать Общего назначения , если у вас нет причин не делать этого, основываясь на наблюдаемых показателях.Режим Max I / O не имеет той же модели согласованности метаданных, что и универсальная цель.

...