Проверка того, что все вопросы были даны ответы в механическом опросе турок

Question

Фон

Я задаю задачу аннотирования данных на механическом турке. Пользователь должен дать оценки для пар предложений. Каждая пара предложений имеет таблицу с 7 переключателями. Для каждой такой таблицы пользователь ДОЛЖЕН дать ответ.

Задача

В документе 194 таких таблицы, так что пропустить одну легко. Пользователь не предупреждается о том, что на один из вопросов не был дан ответ, если он / она пропустили один или несколько из них, когда он нажал «Отправить», что вынудило нас отклонить их ввод из-за простого упущения.

Ограничения

К сожалению, у нас нет возможности отправить каждую таблицу как отдельное попадание, потому что:

a) Нам нужно знать, каковы оценки для полного набора данных для одного пользователя.

б) У нас есть вопросы контроля качества, на которые пользователь должен ответить, и они не могут быть проинформированы, какие из них.

Вопрос

Существует ли простой способ убедиться, что пользователи отвечают на каждый вопрос:

а) Выдается предупреждение, если они не ответили на все вопросы? Если да, то как это сделать?

b) Представление каждой таблицы на отдельной странице, когда пользователям необходимо нажать «Далее», чтобы получить следующую таблицу, и в этом случае все еще можно пропустить одну, но менее вероятную (поскольку вам не нужно прокручивать большая страница)? Если да, то как это сделать?

Заранее благодарим за любую помощь или решения для решения этой проблемы.

Answer 1

Посмотрите на документы mTurk API и, в частности, посмотрите на раздел QuestionFormStructure .

Если вы отформатируете свои Вопросы и добавите флаг IsRequired, который по умолчанию установленв false, если вы не установили его явно.

<Question>
  <QuestionIdentifier>my_question_id</QuestionIdentifier>
  <DisplayName>My Question</DisplayName>
  <IsRequired>true</IsRequired>
  <QuestionContent>
    [...]
  </QuestionContent>
  <AnswerSpecification>
    [...]
  </AnswerSpecification>
</Question>

Однако, если у вас есть 194 из этих таблиц в одном HIT, вам может быть лучше сделать это как внешний вопрос, чтобы вы могли добавить некоторыеjavascript, чтобы помочь людям быстрее переходить на части, которые они пропустили.