Ваш вопрос: как определить, находится ли мышь над непрямоугольным растровым изображением? Я предполагаю, что все ваши растровые изображения действительно прямоугольные, но имеют прозрачные области. Вы уже должны каким-то образом определить, какая часть вашего (прямоугольного) растрового изображения прозрачна, в зависимости от используемой схемы (например, если вы назначаете цвет прозрачным или если вы используете битовую маску). Вы также будете знать z-порядок (наслоения) растровых изображений на вашем холсте. Затем, когда вы обнаруживаете щелчок в позиции (x, y), вам нужно найти список прямоугольных растровых изображений, которые охватывают этот пиксель. Сортируйте их по z-порядку и для каждого проверьте, прозрачен ли пиксель или нет. Если да, переходите к следующему растровому изображению. Если нет, то это выбранное растровое изображение.