Механический турок

Question

Я пытаюсь опубликовать типичный психологический эксперимент как HIT на механическом турке.Я представляю набор из дюжины пар слов, и мне нужно рандомизировать / уравновесить порядок представленных пар слов.В типичных HTML-формах, похоже, нет способа сделать это.Есть ли способ сделать это с помощью интерфейса API или командной строки?

Answer 1

Обновление 20.05.2016: вместо этого используйте PsiTurk. Смотрите ответ @John McDonnel

Обновление 25.06.2013: Этот ответ довольно старый. См. сообщение в блоге Соломона Мессинга на MTurk в Социологии для начала .

Учитывая количество психологических исследований, которые начинают появляться в AMT, можно подумать, что они добавят это в качестве опции!

Насколько мне известно, вы не можете сделать это с веб-интерфейсом без:

1. Создание набора шаблонов (форма A, форма B, форма C, форма D).
2. Запуск первой формы (форма А).
3. Оплата рабочих, а затем блокирование их всех.
4. Запуск второй формы (форма B).
5. Оплата работникам и блокировка всего с шага 1 и шага 2.
6. И повторять, пока не закончите.

Это плохо по нескольким причинам. Во-первых, вы должны вручную создавать различные формы. Во-вторых, блокируя работников, которые делают хорошую работу, вы отрицательно влияете на их репутацию на сайте. Ваш IRB вряд ли будет смотреть на это по-доброму.

«Лучший» способ решить эту проблему - не использовать веб-интерфейс, а использовать инструменты командной строки (CLT) для создания ExternalQuestions. Таким образом, вы пишете веб-приложение, которое может обрабатывать детали рандомизации, давать работникам информированное согласие, не полагаясь на квалификацию, и «вежливо блокировать» работников, которые уже выполнили работу. (Рабочие, которые уже участвовали, получат короткое сообщение с просьбой вернуть ХИТ.)

Если вы хотите пойти по этому пути, у меня есть подробностей в моем блоге о том, как я это сделал.

Answer 2

если вы решите пойти по пути внешнего вопроса, указанному @Nathan VanHoudnos, я построил среду для проведения экспериментов по психологии на Mechanical Turk с использованием интерфейса внешнего вопроса. Вы можете проверить это здесь . Код запускает простой эксперимент со строфом, надеюсь, вы могли бы изменить его так, чтобы он запускался как угодно. Дайте мне знать, если вам нужна помощь в настройке!