Посмотрите на эти две строки:
var e = document.getElementById('parent');
e.removeChild(e.children[0]);
здесь вы получаете элемент по его идентификатору, а идентификатор - «родительский». Это всегда будет давать вам div.
Затем вы удаляете первый дочерний элемент e.
Вам нужен другой метод получения элемента для удаления!
Первый шаг было бы посмотреть на цель вашего обработчика событий:
function delete(ev){
var target = ev.target;
console.log("the element that was clicked is ", target);
// continue from here
}