Оценка модели Sagemaker

Question

В документации Amazon перечислено несколько подходов к оценке модели (например, перекрестная проверка и т. Д.), Однако эти методы, по-видимому, недоступны в Sagemaker Java SDK.В настоящее время, если мы хотим выполнить 5-кратную перекрестную проверку, кажется, что единственный вариант - создать 5 моделей (а также развернуть 5 конечных точек) по одной модели для каждого подмножества данных и вручную вычислить метрику производительности (возврат, точность и т. Д.).

Этот подход не очень эффективен, а также может потребовать больших затрат на развертывание k-конечных точек на основе количества сгибов при проверке k-сгибов.

Есть ли другой способ проверитьпроизводительность модели?

Answer 1

Amazon SageMaker - это набор из нескольких компонентов, которые вы можете выбрать, какие из них использовать.

Встроенные алгоритмы предназначены для (бесконечного) масштаба, что означает, что вы можете иметь огромные наборы данных и иметь возможность создавать модели из них быстро и с низкими затратами.Если у вас большие наборы данных, вам обычно не нужно использовать такие методы, как перекрестная проверка, и рекомендуется четко разделять данные обучения и данные проверки.Каждая из этих частей будет определена с входным каналом, когда вы отправляете учебное задание.

Если у вас небольшой объем данных, и вы хотите обучиться всем этим и использовать перекрестную проверку, чтобы разрешить это, вы можете использовать другую часть службы (экземпляр интерактивной записной книжки).Вы можете принести свой собственный алгоритм или даже изображение контейнера для использования при разработке, обучении или хостинге.Вы можете иметь любой код на Python, основанный на любой библиотеке или среде машинного обучения, включая scikit-learn, R, TensorFlow, MXNet и т. Д. В своем коде вы можете определить перекрестную проверку на основе данных обучения, которые вы копируете из S3 в рабочий.экземпляров.