когда вы добавляете поле, вы не добавляете к нему идентификатор, поэтому вы не можете удалить его. Попробуйте это:
$('#newField').append('<input type="textbox" id="monNewField"><a href="#" id="removeField">Remove</a><br/>');
Но я бы на вашем месте сделал что-то подобное, чтобы вы могли добавлять и удалять столько полей, сколько хотите:
$('#newField').append('<div class="row"><input type="textbox"><a href="#" class="removeField">Remove</a></div>');
тогда:
$('.removeField').click(function(){
$(this).parent().remove();
});