Amazon EFS и S3 для распределенных вычислений

Question

У меня проблема с большими данными, которую я хочу распространить, скажем, по 20 экземплярам EC2.Мой набор данных создается локально, и я хочу разделить его для распределения по всем моим экземплярам EC2.Я не совсем понимаю разницу между блоком против файла и хранилищем объектов, но мне кажется, что возможность смонтировать EFS на всех экземплярах EC2 была бы более производительной, чем копирование данных из S3 в отдельные экземпляры.Является ли это предположение правильным, и если да, есть ли способ загрузить данные в EFS без использования системы DataSync, предоставляемой Amazon?

Answer 1

Это зависит от ваших конкретных сценариев использования и программного обеспечения, но вот некоторые основные рекомендации

• S3 - это хранилище объектов.Данные по S3 подаются по HTTP (s) на ваши машины
• EFS - это хранилище файловой системы, использующее протокол NFSv4

EFS намного дороже, чем S3, простосохранение в нем и чтение из него

Вот сравнение, уже проведенное в стеке AWS EFS против EBS против S3 (различия и когда использовать?)

Answer 2

S3 похож на веб-сервер.Вы загружаете файлы в него и скачиваете файлы из него, но вы не можете изменить файл непосредственно на сервере.Вы должны загрузить его, затем изменить, а затем вернуть обратно.

EFS, то есть NFSv4, похожа на диск.Вы можете редактировать файлы напрямую.Это также значительно дороже, чем S3.Чтобы загрузить файлы в EFS, вы монтируете его на экземпляр EC2, как обычный диск.JD D предложил .