Существуют ли какие-либо ресурсы SageMaker о том, как проводить обучение распределенным образом с помощью специального алгоритма?

Question

Я видел, что встроенные в SageMaker алгоритмы поддерживают распределенное обучение. Тем не менее, я не нашел никакой документации о том, как структурировать мои данные и / или мое изображение, содержащее пользовательский алгоритм, чтобы обучение можно было проводить распределенным образом. Любая помощь здесь будет высоко ценится.

Answer 1

это уже обсуждалось здесь: Пользовательские пользовательские алгоритмы AWS Sagemaker: как использовать дополнительные экземпляры

По сути, вам необходимо управлять связью между различными контейнерами. Вы найдете несколько указателей здесь: https://docs.aws.amazon.com/sagemaker/latest/dg/your-algorithms-training-algo.html#your-algorithms-training-algo-running-container-dist-training

В качестве альтернативы вы можете использовать один из встроенных алгоритмов (классификация объектов, обнаружение, сегментация) или одну из встроенных сред DL (TF, MXNet и т. Д.). Есть ли конкретная причина, по которой вы используете пользовательский контейнер?