Слушатели объекта не помешают его сборке мусора. Вы можете упростить это так:
У вас есть массив. Вы помещаете функции (слушатели) в массив, а затем выбрасываете свою ссылку на массив. На массив ничего не ссылается, поэтому он может быть собран мусором. Кроме того, больше нет ссылок на функции, так что это тоже не проблема.