Функция A / B Test в SageMaker: вариантное назначение является случайным?

Question

Функция A / B-теста в SageMaker звучит настолько интригующе, но чем больше я смотрю, тем больше меня смущает, полезна ли эта функция. Чтобы это было полезно, вам нужно вернуть данные о назначении варианта и объединить с некоторыми внутренними данными, чтобы выяснить наиболее эффективный вариант.

Как выполняется это задание? Это чисто случайно? Или я должен передать какой-то идентификатор (или хэшированный идентификатор), который может указывать на человека или браузер, чтобы подобрать одну и ту же модель для одного и того же человека.

Answer 1

так, чтобы та же модель была подобрана для одного и того же человека

Amazon SageMaker в настоящее время не поддерживает этот тип функций, который является основным препятствием для его использования в некоторых тестах A / B.

Я создал тему на форуме AWS SageMaker с просьбой добавить эту функцию: https://forums.aws.amazon.com/thread.jspa?threadID=290644&tstart=0

Answer 2

Для того, чтобы это было полезно, вам нужно вернуть данные о назначении варианта и объединить с некоторыми внутренними данными, чтобы выяснить наиболее эффективный вариант.

Ответ InvokeEndpoint включает в себя «InvokedProductionVariant», чтобы поддержать вид анализа, который вы описываете. Подробности можно найти в документации API: https://docs.aws.amazon.com/sagemaker/latest/dg/API_runtime_InvokeEndpoint.html#API_runtime_InvokeEndpoint_ResponseSyntax

Как выполняется это задание? Это чисто случайно?

Трафик распределяется случайным образом, оставаясь пропорциональным весу производственного варианта.