Ошибка выхода из памяти при использовании классификации изображений в Sage Maker

Question

При использовании p2.xlarge или p3.2xlarge с объемом памяти до 1 ТБ при попытке использовать предопределенный алгоритм классификации изображений SageMaker в обучающей работе я получаю следующую ошибку:

ClientError: Out of Memory. Please use a larger instance and/or reduce the values of other parameters (e.g. batch size, number of layers etc.) if applicable

Я использую 450+ изображений, я пытался изменить их размер от исходного размера 2000x3000px до размера 244x244px до размера 24x24px и продолжаю получать ту же ошибку.

Я пробовалнастраивая мои гиперпараметры: num_classes, num_layers, num_training_samples, оптимизатор, image_shape, частоту контрольных точек, batch_size и epochs.Также попробовал использовать предварительно обученную модель.Но продолжает появляться та же ошибка.

Answer 1

Я бы добавил это как комментарий, но у меня еще недостаточно представителей.

Несколько уточняющих вопросов, чтобы у меня было больше контекста:

Какточно вы достигаете 1 ТБ ОЗУ?

1. p2.xlarge на серверах 61 ГБ ОЗУ, а на p3.2xlarge серверах 61 ГБ памяти +16 ГБ на борту графического процессора Tesla V100

Как вы храните, изменяете размеры и загружаете изображения в алгоритм SageMaker?

Ошибка памяти кажется подозрительной, учитывая, что она все еще возникает при уменьшении размера изображения до 24x24.Если вы изменяете размеры своих исходных изображений (450 изображений с разрешением 2000x3000) как объекты в памяти и не выполняете преобразования на месте (т. Е. Не создаете новые изображения), у вас может быть значительная часть предварительно выделенной памяти,в результате чего алгоритм обучения SageMaker выдает ошибку OOM.