Можно ли узнать, какой текст отображается рядом с мышью?

Question

Я просто планирую реализовать некоторые функции, такие как «Поиск в словаре», когда мышь наведет курсор на текст / слова на экране платформы Mac OS X.

Как получить отображаемый текст/ слова рядом с мышью на экране, даже если они не находятся в моем собственном приложении.

Что я могу сделать:

1. Использование WorkSpace, чтобы узнать, какие приложения работают.
2. Используйте API специальных возможностей, чтобы узнать верхний элемент UIElement на экране.
3. Используйте API специальных возможностей, чтобы узнать выбранную строку UIElement, если приложение использует что-то вроде NSTextView (я получаю его, проверяя«выделенный текст» атрибута UIElement).

Чего я не могу сделать, так это:

1. Некоторые приложения, такие как Safari, используют платформу WebKit, единственное, что я могуget from Accessibility API - это «атрибут value», который является текущим содержимым HTML, и некоторые атрибуты, названные как «AXTextMarker».Эти атрибуты не могут быть найдены ни в Google, ни в любом документе.
2. Некоторые приложения даже не поддерживают API специальных возможностей, и я могу получить лишь снимок экрана.

Есть ли способ вызвать системный API для распознавания текста на изображении?В Snow Leopard есть функция распознавания рукописного ввода для ввода на китайском или японском, так что это должна быть функция распознавания?Я не могу найти никакого открытого API для него.

Answer 1

мы можем получить текст любого текстового поля и т. Д. В Windows, используя Windows Hook. Я не пробовал в Mac, но вы можете посмотреть следующую статью SetWindowsHookEx для Mac OS X?

Answer 2

Что вы, вероятно, можете сделать так:
Используйте мета-ключ + ключевой аккорд, чтобы активировать словарь после выделения текста.Я бы на самом деле счел это невероятно неприятным, если бы когда я немного приблизился к тексту, появился словарь.Особенно потому, что я прочитал огромное количество официальных документов, в которых практически любой словарь мог бы провести большую часть своего времени, задыхаясь и умирая.