Как рассчитываются оценки достоверности в AWS SageMaker GroundTruth?

Question

Задания SageMaker / GroundTruth Labeling для

AWS возвращают показатель достоверности для каждой этикетки, аннотированной человеком. Однако оценка не является прямой функцией ответов N рабочих, которые пометили задачу. Например, для задач, в которых все три рабочих присваивают разные ярлыки, оценка варьируется (0,61, 0,55, 0,68). И там, где 2/3 согласны, оценка также варьируется (0,95, 0,91).

«Автоматическая маркировка данных» отключена, что означает, что все элементы маркируются человеком, а не полностью / частично автоматически классифицируются .

Как AWS вычисляет эти доверительные баллы?

Answer 1

Я не могу найти подробностей, поэтому оставляю этот вопрос открытым в надежде на настоящий ответ. Но вот то, что я могу выяснить на данный момент:

Каждое задание по маркировке имеет параметр AnnotationConsolidationConfig , который позволяет вам контролировать, как рассчитывается оценка достоверности с помощью AWS лямбда-функции.

Значение по умолчанию для классификации одиночных изображений описывается как:

вариант подхода максимизации ожидания. Он оценивает параметры для каждого рабочего и использует байесовский вывод для оценки истинного класса на основе аннотаций классов от отдельных рабочих. "

, однако, похоже, обычные AWS пользователи не могут просматривать саму функцию из-за отсутствия разрешений.