Вы убьете себя, внедрив собственную систему событий. Просто используйте JQuery. Это будет лучше, чем все, что вы придумаете, если не потратите на это целые годы.
Причина использования хеш-таблиц заключается в том, что на прикрепленные обработчики событий можно легко ссылаться и удалять, а также легко отслеживать.
К removeEventListener Вы должны иметь ссылку на функцию. Если вы накормили анонимного, у вас нет ссылки на него. Вот почему хеш-таблицы внутренне отображают события в обработчики событий, так что вам не нужно это делать.