Приветствую всех,
Мы с другом обсуждаем возможность нового проекта: программа перевода, которая будет открывать перевод всякий раз, когда вы наводите курсор мыши на любое слово в любом элементе управления, даже статическом, недоступном для редактированияиз них.Я знаю, что есть много плагинов для браузера, чтобы делать подобные вещи на веб-страницах;мы думаем о том, как бы это сделать в масштабе всей системы (в Windows).
Конечно, основная трудность заключается в том, чтобы выяснить, какое слово пользователь наводит на указатель мыши.Я знаю о MSAA и Automation, но, насколько я могу судить, эти вещи позволяют получить только все содержимое элемента управления, а не конкретное слово, над которым находится мышь.
Я наткнулся на это(проприетарное) приложение, которое делает в точности то, что мы хотим сделать: http://www.gettranslateit.com/
Каким-то образом они могут получить точное слово, которое пользователь наводит на экран практически в любом приложении (кажется, что внесколько приложений, особенно Windows Explorer).Он даже как-то извлекает текст из явно нарисованных элементов управления.Сначала я подумал, что это должно быть использование OCR.Но даже когда я уменьшаю шрифт до такой степени, что текст становится совершенно нечитаемым блобом, он все равно может отлично распознавать слова.(И все же, он ничего не узнает, если я изменю шрифт на Wingdings. Но, может быть, это из-за замысла?)
Есть какие-нибудь идеи относительно того, как достичь этой, казалось бы, невозможной задачи?
РЕДАКТИРОВАТЬ: Он не работает с Wingdings, но работает с некоторыми другими бессмысленными шрифтами, поэтому я подтвердил, что это не может быть OCR.