Azure Cognitive Services: где отсутствует статистика производительности Custom Vision?

Question

Я запрашиваю API обучения Azure Custom Vision V3.0 (см. https://westeurope.dev.cognitive.microsoft.com/docs/services/Custom_Vision_Training_3.0/operations/5c771cdcbf6a2b18a0c3b809), чтобы я мог самостоятельно генерировать ROC для каждого тега с помощью операции GetIterationPerformance, часть выходных данных которой равна:

{u'averagePrecision': 0.92868346,
 u'perTagPerformance': [{u'averagePrecision': 0.4887446,
                         u'id': u'uuid1',
                         u'name': u'tag_name_1',
                         u'precision': 0.0,
                         u'precisionStdDeviation': 0.0,
                         u'recall': 0.0,
                         u'recallStdDeviation': 0.0},
                        {u'averagePrecision': 1.0,
                         u'id': u'uuid2',
                         u'name': u'tag_name_2',
                         u'precision': 0.0,
                         u'precisionStdDeviation': 0.0,
                         u'recall': 0.0,
                         u'recallStdDeviation': 0.0},
                    {u'averagePrecision': 0.9828302,
                     u'id': u'uuid3',
                     u'name': u'tag_name_3',
                     u'precision': 1.0,
                     u'precisionStdDeviation': 0.0,
                     u'recall': 0.5555556,
                     u'recallStdDeviation': 0.0}],

u'precision ': 0,9859485, u'precisionStdDeviation ': 0,0, Вы звоните: 0,3752228, u arecallStdDeviation ': 0.0}

Точность и неопределенность отзыва, precisionStdDeviation и recallStdDeviation соответственно, всегда равны 0,0. Это ошибка пользователя и, если нет, планируется ли активировать эту статистику?

Answer 1

Так что в настоящее время precisionStdDeviation и recallStdDeviation не используются, поэтому они всегда будут равны нулю, это не ошибка пользователя. Эти две метрики существуют, потому что ранее мы выполняли перекрестную проверку на наборе пользовательских данных, и для каждого сгиба перекрестной проверки у нас есть точность и отзыв, stddev измеряет изменение точности и отзыва через сгибы. Теперь вместо перекрестной проверки мы разделяем часть пользовательских данных в качестве набора проверки и сообщаем об этом на основе IterationPerformance, так как нет многократных сгибов, stddev всегда будет равен нулю. Мы планируем удалить эти два поля, извините за путаницу, скорее всего, она будет удалена в следующей основной версии.