Как уже упоминалось в комментариях, вы создаете дубликаты привязок. Один из возможных способов сделать это - предоставить способ ограничения элементов, к которым вы добавляете новые привязки. Подумайте ...
<span class="delete new"> X </span>
Если вы создаете свои элементы с двумя классами, то у вас есть индикатор, чтобы узнать, какие из них являются новыми. Тогда ...
const deleteButton = document.querySelectorAll(".delete.new");
Выберите по обоим классам, чтобы получить только новые. Наконец ...
deleteButton[i].classList.remove('new');
Чтобы удалить новый класс, чтобы он не был выбран в будущем.