Просто ... удалить родительский элемент ввода?
$('input[value=Delete]').on('click', function () {
$(this).parent().remove();
});
РЕДАКТИРОВАТЬ
Ну ... Это не сработает, если вы добавите клонированный <div>
элементов после назначения прослушивателя событий.Самый безопасный способ - использовать делегирование:
$(document.body).on('click', 'input[value=Delete]', function () {
$(this).parent().remove();
});