getQualificationScore возвращает тип QualificationType не существует для базового типа квалификаций (уровень одобрения и т. д.)

Question

Я получил кучу результатов от Mechanical Turk HIT, которые я сделал, и я хочу попытаться оценить все мои ответы по тому, насколько надежным был этот Работник. Для этого я пытаюсь получить от MTurk скорость принятия каждого работника, отправляющего заявку.

Я делаю это с использованием MTurk API QualificationRequirement типа "Worker_PercentAssignmentsApproved", тип_идентификатора которого равен 000000000000000000L0.

Чтобы получить одобренный рейтинг работника по процентам, я звоню GetQualificationScore , который возвращает мне это очень злое сообщение:

 <GetQualificationScoreResponse>
   <OperationRequest>
     <RequestId>e5a68cbf-f8a4-4fc6-8d47-8198a138fe12</RequestId>
   </OperationRequest>
   <Qualification>
     <Request>
       <IsValid>False</IsValid>
       <Errors>
         <Error>
           <Code>AWS.MechanicalTurk.QualificationTypeDoesNotExist</Code>
           <Message>
             QualificationType 000000000000000000L0 does not exist (1287717938474) 
           </Message>
         </Error>
       </Errors>
     </Request>
   </Qualification>
 </GetQualificationScoreResponse>

Возможно, у меня возникли некоторые проблемы с форматированием, и я неправильно вызывал метод.

Чтобы проверить это, я вызвал GetQualificationType (который принимает аргумент того же типа для типа: (QualificationTypeId, Идентификатор типа квалификации, String)).

Вот в чем дело: это прекрасно работает.

Итак, вот мой вопрос: Разве Amazon не разрешает доступ к базовой квалификации / статистике о работниках, которые сделали HIT для запрашивающих? Или есть способ получить эти данные, о которых я не думал?

Примечание Я использую слегка модифицированную версию boto для выполнения этих вызовов, но обнаружил, что boto глючит / отсутствует для этого конкретного материала. На данный момент я +/- работаю над уровнем вызовов XML.

Answer 1

Правильно, вы не можете напрямую запросить квалификацию системы Работника.Вы можете создавать HIT с Квалификационными требованиями на основе системных Квалификаций, но это все.

В настоящее время единственный способ собрать конкретные данные о работнике - это проанализировать свои собственные результаты для HIT и квалификационных тестов.Вы можете хранить результаты своего собственного анализа в Quals, которые вы создаете сами, и со временем обновлять их, а также использовать эти Quals в качестве основы для требований Qual для ваших HIT. Ваши HIT.

-DAN @ AWS, Amazon, отвечая на этот вопрос в 2006 году.

Таким образом, похоже, что этого нельзя сделать напрямую.Sadface.