Я вообще не переписывал твой код.Я просто исправил это, чтобы сделать то, что вы хотите, см. Здесь: http://jsfiddle.net/4BnHy/1/.
Есть гораздо лучшие подходы к динамическому добавлению / удалению.Рассмотрите возможность использования отдельной кнопки добавления выше и отдельной от входов.
Вам нужно было сделать .find()
внутри newDiv и удалить его.