Можно ли быстро развернуть AWS экземпляров с AMI 200 ГБ? - PullRequest
Новая
       96

Можно ли быстро развернуть AWS экземпляров с AMI 200 ГБ?

0 голосов
/ 21 февраля 2020

У меня есть приложение для обработки данных, которое мне нужно запускать каждые 2-3 часа, где мне нужно использовать 64 ядра в течение 6 минут смущающе параллельным образом. Каждое из ядер должно загружать 3 ГБ данных с диска в общей сложности 192 ГБ данных на диске.

Чтобы достичь этого экономически эффективным способом, я планирую развернуть 64-ядерный точечный экземпляр EC2 используя скрипт всякий раз, когда мне нужно запустить одно из этих заданий. Я также планирую иметь AMI на 200 ГБ с моими необходимыми данными. Затем, когда запускается экземпляр EC2, я могу запустить свои 64 задания, и каждый из них может загрузить туда свои 3 ГБ данных с SSD.

Будет ли это работать, и сколько времени потребуется, чтобы раскрутить место EC2 экземпляр с большим AMI? Если запуск экземпляра занимает несколько минут, это не очень хорошо, поскольку это всего лишь 6-минутные задания, которые я хочу быстро запустить. Есть ли лучший способ достичь моего рабочего процесса?

1 Ответ

1 голос
/ 21 февраля 2020

Я провел быстрый тест на экземпляре m5n.16xlarge с 64 процессорами, без дополнительной памяти. Экземпляр загрузился сразу - как в первые 10 секунд. Не должно быть никакого влияния на время загрузки с дополнительным хранилищем большого AMI с поддержкой EBS.

Я отметил, что эти типы экземпляров обладают высокой производительностью, локальное хранилище объемом 600 ГБ включено в AMI:

Локальное хранилище на уровне NVMe на уровне блоков SSD, физически подключенное к хост-серверу, доступно во всех экземплярах M5d, M5dn и M5ad. Эти экземпляры отлично подходят для приложений, которым необходим доступ к высокоскоростному локальному хранилищу с малой задержкой, включая те, которым требуется временное хранилище данных для временного пространства, временных файлов и кэшей.

Вы можете рассмотреть переместить ваши данные на S3 и скопировать их в локальное хранилище для обработки. Это сделало бы AMI независимым от ваших данных, если бы вам пришлось менять его чаще. Этим большим экземплярам выделено 10 ГБ полосы пропускания, поэтому передача данных должна быть быстрой. Однако при каждой загрузке вы будете нести расходы на передачу S3.

В конфигурации запуска AMI убедитесь, что вы используете «SSD общего назначения» или тома EBS gp2, например тома root - это быстрее, чем старые HDD magneti c объемные типы.

https://aws.amazon.com/ec2/instance-types/m5/

...