Загрузка большого количества данных с локального компьютера в Amazon Elasti c Block Store

Question

Я заинтересован в машинном обучении с использованием экземпляра AWS EC2. Я поиграл с запуском экземпляров с подключенным EBS и смог загрузить в него файлы через scp в моей локальной командной строке. У меня будет несколько гигабайт данных для загрузки на этот EBS (я знаю, что это не так уж много по стандартам ML, но это не совсем моя точка зрения). Я хотел бы знать, как правильно загрузить эти данные. Я обеспокоен накоплением больших комиссий, потому что я что-то сделал глупо.

Пока что я только что вручную загрузил несколько файлов в связанную EBS экземпляра EC2 через командную строку, например:

scp -i keys/ec2-ml-micro2.pem data/BB000000001.png ubuntu@<my instance ip>:/data

Мне кажется, это довольно примитивный подход (не всегда это плохо). Это «правильный» путь? Я не против того, чтобы запускать пакетный JBB в течение ночи, как это, но я не уверен, что это может повлечь за собой некоторые сборы за передачу данных. Я искал информацию об этом и прочитал страницу EBS с ценами . Я ничего не видел о расходах, связанных с загрузкой данных, но я просто хотел подтвердить кому-то или нескольким людям, которые сделали что-то подобное, что это правильный подход, а если нет, то какой лучше

Answer 1

При управлении крупными объектами AWS. Всегда проверяйте S3 в качестве начальной опции, она обеспечивает неограниченную емкость хранилища и наилучшее использование для хранилища объектов по сравнению с EBS (хранилище блоков). EBS выставил вам счет за размер предоставленного вами тома, сказав, что есть вероятность, что вы будете чрезмерно обеспечены (накладные расходы) или недостаточно обеспечены (это может привести к снижению производительности или даже к простою).

Используя S3, вам выставляется счет за хранилище, которое вы использовали на ГБ в месяц, платите за используемую модель, и это очень дешево по сравнению с EBS.

И, наконец, попробуйте сначала оценить услуги AWS Машинного обучения. это может подходить для ваших сценариев использования, это сэкономит вам много времени и усилий.

Передача данных из S3 в EBS в том же регионе бесплатна. AWS Информация о ценах