В mTurk, как я могу использовать участие в предыдущем HIT (или серии HIT) в качестве квалификации? - PullRequest
Новая
       32

В mTurk, как я могу использовать участие в предыдущем HIT (или серии HIT) в качестве квалификации?

2 голосов
/ 20 октября 2010

Я использую mTurk для опросов, и мне нужен способ убедиться, что люди, которые участвовали в предыдущем опросе / HIT, не участвуют в определенных будущих опросах / HIT.Я не уверен, должен ли я сделать это как квалификацию или как-то иначе.

Я знаю, что есть какой-то способ сделать это, но я понятия не имею, как.У меня очень ограниченный опыт программирования и я буду очень признателен за конкретные инструкции о том, как я могу это сделать.Я понимаю, что мне может понадобиться использовать AWS?Большое спасибо!

Ответы [ 3 ]

2 голосов
/ 07 мая 2013

Массовые отклонения, как было предложено выше, являются действительно очень плохой идеей с точки зрения вашей репутации запрашивающей стороны.Вам гораздо лучше создать квалификацию для нового HIT, которая автоматически присваивает 100 баллов (или что-то еще) любому, кто его берет, и присваивает нулевые баллы всем, кто проводил предыдущие опросы.Это предотвращает повторы, но не раздражает никого из ваших работников.

Самый простой способ создать квалификацию - https://requester.mturk.com/qualification_types.

Если вы скачаете CSV работников здесь https://requester.mturk.com/workers, Вы можете назначать баллы работникам, которые выполнили предыдущие HIT.

Для того, чтобы получить квалификационный грант для новых работников, автоматически требуется API.

0 голосов
/ 28 марта 2016

Сервис Amazon Mechanical Turk имеет эту опцию, чтобы запрашивающие лица могли предоставлять своим работникам Qualification_Type.Таким образом, подключив ваши HIT к типу qualification_type с именем «A», а затем предоставив работникам точно такой же тип qualification_type, только работники с такой квалификацией могут видеть и работать с HIT.

Сначала ,создание требуемых типов квалификации через веб-интерфейс mturk (это только имя и описание) requestter.mturk.com> manage> QualificationTypes.Это даст вам квалификационный идентификатор после его генерации.(вам это понадобится в ближайшее время)

Секунда , в цикле создания HIT вы должны использовать класс QualificationRequirement.(Я использую код Java, и он выглядит как приведенный ниже код): 

QualificationRequirement[] qualReq = new QualificationRequirement[1];
qualReq[0] = new QualificationRequirement();
qualReq[0].setQualificationTypeId(qualID);
qualReq[0].setComparator(Comparator.EqualTo);
qualReq[0].setIntegerValue(100);
qualReq[0].setRequiredToPreview(false);

, затем в цикле создания HIT я буду использовать это: 

try {
            hit = this.service.createHIT(null,
                    props.getTitle(),
                    props.getDescription(), 
                    props.getKeywords(),
                    question.getQuestion(),
                    new Double(props.getRewardAmount()), 
                    new Long(props.getAssignmentDuration()),
                    new Long(props.getAutoApprovalDelay()), 
                    new Long(props.getLifetime()),
                    new Integer(props.getMaxAssignments()),
                    props.getAnnotation(),
                    qualReq,
                    null);

Третий назначает тип квалификации работникам, которым вы хотите, чтобы они работали в ваших HIT.Это очень просто, я обычно использую mturk UI для этого.https://requester.mturk.com/> вкладка «Управление»> «Рабочие».Вам следует скачать CSV-файл, если вы хотите присвоить эту квалификацию группе работников.(Работники, которые работали с вами в прошлом)

вы можете уведомить работников, отправив им электронное письмо после их квалификации

Примечание: некоторые работники очень медленно отвечаютваши новые хиты после их квалификации;так что имейте в виду, что у вас должен быть какой-то план и время резервного копирования, если вы не получите достаточно ответа в течение определенного времени.

0 голосов
/ 22 октября 2010

Вот хакерский способ сделать это:

  • Когда вы принимаете HIT для опросов, сохраняйте ID каждого участвующего работника.
  • При написании заметьте, что «если вы уже проводили предыдущие опросы с нами, то вы не можете сделать это (например, IE, но мы не одобрим это)».
  • Когда вы утверждаете HIT, сверяйте рабочие идентификаторы с кем-либо, кто участвовал в предыдущем опросе, и отклоняйте совпадения всех совпадений.

Если вы проводите достаточное количество опросов, то да, возможно, вы захотите использовать AWS API как минимум для части утверждения. в противном случае, кажется, что большинство вещей выполнимо из интерфейса запрашивающей стороны.

...