Вы можете использовать живой метод jQuery для привязки к будущим экземплярам абзацев. Для каждой новой формы вы можете написать:
$('.deleteButton').live(function(){
$(this).siblings('p').remove();
});
live
похоже на bind
, но действует на любой элемент, который будет добавлен в будущем. :)