Как сделать приложение умным, чтобы оценивать ответы?

Question

Я добавляю функцию в приложение, в котором учащиеся отвечают на вопросы, которые носят более описательный характер. Мне любопытно узнать, есть ли способ сделать систему достаточно «умной», чтобы оценивать эти ответы. Конечно, я могу выполнить ответы через набор ключевых слов, чтобы убедиться, что учащийся хотя бы включил ключевые слова в ответы, но, очевидно, это недостаточно умно.

Я знаю, что нет надежного способа оценки описательных ответов, но мне было интересно, есть ли какие-нибудь технологии, на которые я мог бы взглянуть.

Answer 1

Вы можете использовать механический турок , который является API для людей. Что, вероятно, так далеко, как вы можете получить с AI'ing вашей системы. Понимание и оценка фактического текста является одной из последних оставшихся проблем, когда люди намного лучше компьютеров (то есть компьютеры отстой)

Одним заметным исключением является Watson , который действительно хорош в Jeopardy, но работает на огромном вычислительном кластере и включает в себя некоторые серьезные оптимизации и умные решения. Это ничего, что вы просто включаете. К сожалению ...

Answer 2

Ответ не так прост. Существуют «автоматизированные системы оценки», которые, я полагаю, используются для оценки экзаменов GRE. Например, см. этот документ и этот ETS .