Я думаю, что ваш ответ зависит от масштаба вашего приложения.
Если оно маленькое (вы можете контролировать количество мест, где вы это делаете), то, вероятно, все в порядке.
Еслиона большая (корпоративная) или вы создаете библиотеку для использования в качестве инфраструктуры, вам лучше добавить и удалить слушателя.(например, если на экране 100 диалогов, каждый щелчок по экрану вызовет все 100 слушателей, это может повредить производительности в большом масштабе)