как разработать программу, чтобы минимизировать ошибки в транскрипции рукописных опросов - PullRequest
10 голосов
/ 04 июня 2010

Мне нужно разработать собственное программное обеспечение для проведения опросов. Вопросы могут быть с множественным выбором, или свободный текст в очень немногих случаях.

Меня попросили спроектировать подсистему, чтобы проверить, есть ли ошибка в ручном вводе данных для части с несколькими вариантами выбора. Мы пытаемся ускорить процесс ввода пользовательских данных и минимизировать человеческие различия между цифровыми формами и оригинальными анкетами. Опросы заполнены рукописными метками и текстом, составленными людьми-интервьюерами, поэтому можно найти трудно читаемые метки, а также пользователь может случайно выбрать другое значение в каком-либо вопросе, и мы хотели бы избежать этого.

Программное обеспечение должно включать некоторое автоматическое управление для обнаружения возможных различий в типизации. Каждый ответ на вопросы с множественным выбором имеет одинаковую вероятность выбора.

Этот вопрос состоит из двух частей:

  • GUI.

Самая простая вещь, которую я имею в виду, - это реализовать наиболее удобный дизайн отображения вопросов: использование больших и удобочитаемых шрифтов и щедрый выбор вариантов. Есть что-то еще? Для более быстрого ввода я хотел бы использовать выпадающие списки (предпочитая клавиатуру мышке). Поскольку вопросы сгруппированы по разделам, я хотел бы показать ответы, выбранные для вопросов этого раздела, но это может замедлить процесс. Есть другие идеи?

  • Подсистема проверки ошибок.

Что еще я могу сделать, чтобы минимизировать или проверить человеческие опечатки в вопросах с несколькими вариантами ответов? Это решаемая проблема? Существует ли какая-либо статистическая методология для проверки того, что значения, введенные пользователями, совпадают с заполненными вручную формами? Например, предположим, что опрос состоит из 5 вопросов, и у каждого есть 4 варианта. Допустим, у меня есть n форм опросов, заполненных интервьюерами, и они готовы для ввода в программное обеспечение, тогда как минимизировать случайные различия, которые могут иметь ручную транскрипцию n опросов, без необходимости перепроверять все в 5 вопросов из n опросов?

Мое первое предложение заключается в том, что в конце обработки всех заполненных вручную форм программа могла выбирать несколько форм случайным образом, чтобы дважды проверить ответы в нескольких случаях, но по каким критериям я могу сделать этот выбор ? Этой проверки будет достаточно, чтобы охватить все значительным образом?

Фактическое обследование проводится на национальном уровне, и в нем содержится 56 страниц с более чем 200 вопросами, поэтому многие люди получат много рукописных страниц. Цель состоит в том, чтобы уменьшить вероятность ошибок и оптимизировать скорость работы. процесс ввода данных. Обследования должны быть заполнены в первую очередь на бумаге, учитывая сложности, связанные с захватом ноутбуков или портативных компьютеров у интервьюеров.

Ответы [ 12 ]

13 голосов
/ 08 июня 2010

Назовите меня старой школой, но я все еще думаю, что самый прагматичный способ сделать это - использовать двойную запись.Два клерка ввода данных входят в свои опросы, затем меняются стеками и входят в опросы другого клерка.Всякий раз, когда ваша система обнаруживает разницу между ними, она поднимает флаг - тогда два клерка складывают головы и принимают решение о правильном ответе (или, возможно, его проверяет более старший научный сотрудник и т. Д.).В сочетании с некоторыми другими предложениями здесь (мне очень нравятся предложения mdma для графического интерфейса), это могло бы сделать систему с низким уровнем ошибок.

Да, это удвоит ваше время ввода данных (возможно) - ноэто очень просто и сократит ваши ошибки, путь вниз.Идея OMR - отличная идея, но для меня она не похожа на этот проект (общенациональный опрос, состоящий из 52 страниц), который является лучшим примером для одинокого хакера, пытающегося реализовать это впервые.Какое программное обеспечение вам нужно?Какое оборудование доступно для этого?По-прежнему будет много человеческой работы, связанной с выявлением глупостей, когда интервьюер помечает все четыре возможных ответа и затем записывает примечание в сторону - вам, вероятно, захочется случайным образом выбирать опросы, чтобы получить представление о том, что машина-читаемая частота ошибокДаже тогда у вас все еще есть оценка частоты ошибок, а не исправленных данных.

Попробуйте на этот раз более простой метод, чтобы получить результаты качества вашего работодателя, а затем использовать эти результаты в качестве предварительно проверенного набора данных для экспериментов сматериал OMR для следующего времени.

6 голосов
/ 07 июня 2010

OCR / OMR, вероятно, является лучшим выбором, поскольку вы исключаете непредсказуемую человеческую ошибку и заменяете ее достаточно предсказуемой машинной ошибкой. Может даже оказаться возможным отфильтровать формы, с которыми OCR может бороться, и изменить их, чтобы повысить точность сканирования.

Но, взявшись за исходный вопрос, начните:

Ошибка проверки

  • коррелируйте вопросы, так что, по сути, одно и то же задано несколько раз или отрицательно. Если ответы на коррелированные вопросы также не коррелируют, это может указывать на ошибку ввода.
  • отклонения от нормы: если в типичных ответах есть закономерности, то отклонения от этих типичных ответов могут рассматриваться как потенциальные входные ошибки. Например. если вопросы 2 и 3 отвечают на вопрос А, то вопрос, скорее всего, будет С или D. Это обобщение приведенной выше корреляции. Корреляции могут быть вычислены динамически на основе уже введенных данных.

GUI

  • имеет графический интерфейс, имитирующий бумажную форму, чтобы то, что видят клерки на бумаге, отражалось на экране. Ввод бумажного ответа на вопрос в неправильный вопрос в графическом интерфейсе менее вероятен, чем.
  • предоставляет визуальную помощь клеркам ввода данных, например, с помощью ползунка для сохранения текущего местоположения вопроса на бумаге.
  • Пользовательское устройство ввода для ввода данных может быть проще в использовании, чем клавиатурная навигация и списки. Например, сенсорный дисплей с указанием всех опций A B C D. Клерк должен только нажать опцию, и она выбрана, и следующий вопрос отображается - после короткой паузы. В случае, если клерк делает ошибку, он может использовать кнопки «Предыдущая / Следующая» рядом с каждым вопросом.
  • обеспечивает звуковую обратную связь введенных данных, поэтому, когда клерк вводит «А», они слышат «А».

EDIT: Если вы планируете выполнить двойной ввод данных или внедрить улучшенный графический интерфейс, возможно, стоит провести пилотную схему для оценки эффективности различных подходов. Двойной ввод может быть дорогим (удвоение стоимости задачи ввода данных), что может быть или не быть оправдано повышением точности. Пилотная схема позволит вам оценить эффективность двойного входа, быстро и сравнительно недорого. Это также даст вам представление об уровне ошибок от одного клерка ввода данных без каких-либо изменений пользовательского интерфейса, что может помочь определить, нужны ли изменения пользовательского интерфейса или другие стратегии уменьшения ошибок, и сколько затрат можно оправдать при их реализации.

Ссылки по теме

5 голосов
/ 04 июня 2010

Мое первое предложение заключается в том, что в конце обработки всех заполненных вручную форм программа могла выбирать несколько форм случайным образом для двойной проверки ответов в нескольких случаях

Я не думаю, что это действительно даст значимый результат. Предположительно ошибки являются непреднамеренными и случайными. При выборочных проверках будут обнаружены системные ошибки, но вы обнаружите только 10% случайных ошибок, если перепроверете 10% форм (и 20% ошибок, если вы проверите 20% форм и т. Д.).

Как выглядят бумажные обзоры? Если возможно, я бы предположил, что система OCR, которая сканирует рукописные тесты и сравнивает то, что OCR определяет ответ, с тем, что дал оператор ввода данных, была бы лучшим решением. Возможно, вам все равно придется вручную дважды проверять достаточное количество опросов, но у вас будет некоторая уверенность в том, что повторные проверки в опросах с большей вероятностью содержат ошибку, чем если бы вы просто выбрали их случайно.

Если вы также контролируете, как выглядят бумажные обзоры, то это даже лучше: вы можете разработать их специально, чтобы сделать распознавание как можно более точным.

4 голосов
/ 12 июня 2010

Я бы поддержал предложение Мэтта Паркера об использовании двойной записи, чтобы уменьшить количество ошибок. Я даже видел тройную запись, используемую для очень чувствительных к ошибкам задач ввода данных.

Преимуществом двойной записи является то, что она позволяет вам получить приблизительную оценку вашей общей частоты ошибок, сделав некоторые предположения (главным образом, что частота ошибок одинакова для элементов входа и клерков) и используя частоту, с которой запись конфликты встречаются.

Более сложные системы двойного ввода также могут измерять частоту ошибок частей задачи ввода данных и отдельных клерков, так что вы можете вносить улучшения для уменьшения частоты ошибок.

4 голосов
/ 07 июня 2010

Простите, что полностью обошли стороной вопрос, но вчера я пошел на eBay и заплатил 99 долларов США за 7-дюймовый планшетный ПК с операционной системой Android. Не в мире процессор Paster, ни с кучей оперативной памяти, но, безусловно, достаточно, чтобы заполнить пользовательские опросы на местах.

Я не могу поверить, что ваша организация не может позволить себе $ 99 на одного интервьюера, чтобы решить эту проблему.

Стоит ли предлагать своему боссу, по крайней мере, не так ли?

3 голосов
/ 08 июня 2010

После того, как вы реализовали свое лучшее сочетание программных подходов к этой проблеме, вы также можете рассмотреть возможность запуска вывода через программу Amazon механический турок и выполнить перекрестную проверку транскрипции на оригиналы человеком. Другие проекты в том же духе: reCaptcha (хотя, насколько я могу судить, это только для печатного текста OCR), и я только что натолкнулся на Beextra , который, кажется, занимается такими вещами, как каталогизация Smithsonian. СМИ.

3 голосов
/ 07 июня 2010

Похоже, что нужен комбинированный подход, реальные формы должны быть пригодны для автоматической обработки. Вы можете отсканировать документы и просто работать с электронной версией, если ввод с множественным выбором может быть автоматически обработан, вы можете получить лучшие коэффициенты ошибок, не допуская пользователя в цикл. В зависимости от пакета OCR, я думаю, вы получите обратно значение, которое скажет вам, насколько система делает выбор, который вы сделали, в зависимости от этого значения вы захотите, чтобы форма была проверена человеком. Заметьте, я говорю об использовании ocr для меток множественного выбора, а не записей произвольной формы, что, вероятно, само по себе является проблемой.

Параллельно вы, вероятно, захотите выполнить случайные проверки, чтобы найти коэффициент ошибок системы ocr. Затем это значение можно использовать для определения значения достоверности для суммы вопроса с множественным выбором.

Я думаю, что подобный подход был бы полезен, если вы просто работаете с людьми, вы, вероятно, не избавитесь от всех ошибок, потому что люди будут делать ошибки, и они будут делать ошибки, исправляя ошибки, но с достаточно большим размером выборки вы вероятно, сможет определить соотношение ошибок при вводе человеком. Этот номер затем можно использовать для определения результатов опроса.

Что касается других идей пользовательского интерфейса, вы можете использовать отсканированные формы и накладывать их таким образом, чтобы флажок пользовательского интерфейса был близок к письменному флажку. Если у вас есть пара известных линий под углами, выпрямление и масштабирование формы не должно быть слишком сложным. Если элемент ввода пользовательского интерфейса близок к отметкам карандашом, скорее всего, вы получите более высокие показатели для правильной классификации.

Вы также можете, вероятно, использовать статистический анализ для выбора форм, которые кажутся несоответствующими, но вы можете искажать результат из-за неравномерного выбора, который может быть хуже, чем равномерная случайная ошибка. В зависимости от дизайна бумажного опроса может быть полезно скопировать это в пользовательском интерфейсе, всем будет легче находить ошибки, если они выглядят одинаково, если вы не будете придерживаться этого, возможно, некоторые из ссылок на опрос дизайн (например, это может быть полезным.

Это, кажется, довольно большая операция, я уверен, что в штате есть несколько статистиков, поговорите с ними о том, что им нужно и что вы можете сделать, чтобы помочь им, и не должны делать это, чтобы исказить результаты еще больше.

2 голосов
/ 14 июня 2010

Двойная проверка человеком, пожалуй, самый популярный способ достичь низкого количества ошибок. , Если вы хотите ускорить его, один человек может рассчитать только общее количество заданных ответов и записать это число в нижней части опроса (своего рода «контрольная сумма»). Лицо, которое вводит данные в ваше приложение, также должно заполнить это число в специальном поле, и тогда система сможет рассчитать количество полученных ответов и сравнить с ожидаемым значением. Это может решить проблему правильного количества, но не правильности данных.

Вы также можете использовать некоторые методы из data-minig для обнаружения ошибок во вставленных данных. Пример: если вы запрашиваете возраст и диапазон заработной платы, вы можете создать правило, которое гласит: если возраст правила ассоциации

GUI: должно быть 1: 1 для представления бумажной формы. некоторые сочетания клавиш могут быть полезны для ускорения работы.

2 голосов
/ 13 июня 2010

Что касается обнаружения ошибок в транскрипции ответов с несколькими вариантами ответов, я предлагаю использовать несколько человек для ввода данных и статистического профилирования.

Статистик мог бы сравнить результаты, чтобы увидеть, выделяются ли какие-либо вопросы как заметно отличающееся распределение ответов для ответов, введенных одним пользователем ввода данных, и ответов других. Если это так, то эти вопросы можно пометить для повторного ввода из форм.

Предполагая, что формы случайным образом назначаются персоналу, занимающемуся вводом данных, введенные результаты должны иметь довольно похожие распределения ответов для достаточно большого числа форм на пользователя ввода данных.

1 голос
/ 14 июня 2010

Для вопросов с несколькими вариантами кажется, что автоматическое сканирование будет достаточно надежным. Если у вас есть возможность сканирования всех документов до начала ввода данных, включите их в пользовательский интерфейс с компьютерными догадками.

Если у вас есть вопрос с несколькими вариантами ответов, на одной стороне формы для ввода данных и на другой стороне оригинал. Если компьютерное предположение превышает определенный порог, заполните этот выбор в области ввода данных. Если компьютерное предположение ниже определенного порога (несколько ответов или ответ не найден), не отмечайте первоначальный ответ и выделяйте этот вопрос как требующий внимания. Даже без догадок, отсканированная бумага, видимая на экране рядом с вводом данных, кажется полезной.

Для рукописных ответов у меня нет реальных предложений, кроме отсканированного ввода рядом с областью ввода данных. Даже если изображение не так разборчиво, как исходный документ, это поможет обеспечить ввод правильного текста для каждого вопроса. Довольно распространенная ошибка ввода должна быть выключена, когда правильный ответ вводится для неправильного вопроса. Наличие изображения на экране может немного уменьшить это и упростить проверку для другого человека.

Это предполагает, что все формы идентичны по разметке, поэтому вы можете написать некоторый код для отображения определенной части определенной страницы и ожидать, что она будет правильной частью формы.

...