Вы добавляете к .task
каждый раз, что выбирает больше div по мере их добавления. Вместо этого каждый раз создавайте переменную и добавляйте ее.
$('#add').click(function() {
let task = $('<div class="task"></div>')
task.append('<input type="checkbox">', '<div></div>', '<small>Delete</small>')
$('#taskCont').append(task)
});
.task {
width: 200px;
height: 50px;
background: red;
}
<script src="https://cdnjs.cloudflare.com/ajax/libs/jquery/3.3.1/jquery.min.js"></script>
<p id="add">add</p>
<div id="taskCont"></div>