Как распечатать информацию об отладке из обучения Sagemaker?

Question

У меня есть скрипт ноутбука jupyter, который просто запускает обучающий скрипт, предположительно в контейнере докера.

Я добавил несколько операторов печати в этот обучающий скрипт, но он не отображается в записной книжке или CloudWatch.

Я использую обычный оператор print ().Как мне регистрировать отладку из обучающего скрипта?

Answer 1

Согласно https://docs.aws.amazon.com/sagemaker/latest/dg/your-algorithms.html, «Контейнеры Docker могут отправлять сообщения в файлы Stdout и Stderr. Amazon SageMaker отправляет эти сообщения в журналы Amazon CloudWatch в вашей учетной записи AWS.».Так что print () должна работать в вашем случае.Вы проверили, обновляется ли образ докера после изменения обучающих сценариев?

Answer 2

Я видел это, когда Python пытается буферизовать стандартный вывод, что не всегда хорошо работает с Docker - добавление ENV PYTHONUNBUFFERED = 1 в ваш Dockerfile (а затем перестройка образа) решит эту проблему, если этопричина.

Answer 3

Журналы AWS CloudWatchLogs можно найти.Перейдите на тренировочные задания на панели инструментов Sagemaker, выберите учебную работу, которую вы ищете.В этом вы найдете опцию «view_logs».Он направит вас в журналы Cloudwatch.

Надеюсь, это поможет!