Вы можете использовать one() метод для прослушивания только один раз.
jQuery("#addMore").one('click', function(){
// .....
});
ОБНОВЛЕНИЕ 1: Он дублирует существующие элементы формы, поэтому во второй раз он будет дублировать ранее добавленные элементы также. Поэтому для исправления кеша HTML в переменной.
var contents = jQuery("form").html();
jQuery("#addMore").click(function(){
jQuery('form').append(contents);
});
ОБНОВЛЕНИЕ 2: Для добавления кнопки удаления просто оберните элементы в элемент div и сохраняйте закрытие кнопка внутри него. Привязать обработчик события click для кнопки, чтобы удалить только что добавленный раздел формы.
var contents = `<div> <button class="remove" type="button">X<button>
${jQuery("form").html()}
</div>`;
jQuery("#addMore").click(function(){
jQuery('form').append(contents);
});
// listener for remove button, with help of event delegation
jQuery('form').on('click', '.remove',function(e){
e.preventDefault();
$(this).parent().remove();
});