Я закончил тем, что нарисовал большой (пустой) div поверх всего, сохранил позицию каждого меньшего парня, а затем обработал событие mousedown
из большого div и распространил его на маленьких.
Это немного лучше, чем перебирать все элементы на странице, потому что есть некоторая структура, где они находятся, поэтому поиск быстрее.