Совершенно очевидно, что вы не можете взаимодействовать с другими окнами приложений. Я полагаю, это может быть любое случайное окно в вашем случае. Следовательно, ваш подход к Mouselistener неверен.
Скорее, попытайтесь приблизиться к нему, как извлечение информации о пикселях, отображаемой на экране. Существует пакет awt java.awt.Robot или что-то, что можно использовать для ваших целей. Если вы хотите реализовать захват активного окна, посмотрите, есть ли API-интерфейсы Java для взаимодействия с O.S. и получить информацию о текущем активном окне и его пиксельных координатах. Затем координаты могут быть переданы в атрибут прямоугольника, который используется с API java.awt.Robot для определения области захвата экрана.