Как узнать качество систем машинного перевода?

Question

Я знаю, что существуют различные метрики для измерения качества систем машинного перевода, например:

• Bleu
• METEOR
• Lepor

Есть ли где-нибудь в общем доступе результаты метрики для популярных систем перевода? Например, такие как:

• Google переводчик
• Яндекс переводчик
• Microsoft переводчик
• Promt
• Apertium
• Открытые логи

Answer 1

Качество машинного перевода ежегодно оценивается на Конференции по машинному переводу . Большинство оцениваемых систем являются экспериментальными системами из университетов, но большинство упомянутых вами систем также участвуют. Результаты прошлогодней оценки человека в Таблице 11 на странице 24 результатов конференции .

Большинство систем, о которых вы упомянули, участвуют анонимно под аббревиатурами online-?, но вы часто можете догадаться, какая система какая.