Нет причин использовать разные обработчики, все они действуют одинаково. Просто используйте переданное событие, чтобы определить, с какой меткой взаимодействуете, и измените объект, переданный в это событие.
Ваш обработчик даже не должен знать, что существует несколько меток.
Когда они щелкают по нему, вы можете либо удалить его, как вы предлагаете, либо определить состояние "нажал" в начале вашего обработчика и просто вернуться (возможно, посмотрев на цвет).
Не беспокойтесь о производительности, разницу будет совершенно невозможно обнаружить, делайте то, что вам кажется более читаемым / поддерживаемым.
Лично я думаю, что оставил бы их зарегистрированными на случай, если захочу добавить больше поведения позже.