только из вашего описания будет
$('#clock_in').click(function(e){
$('.btn').html('<i class="fa fa-spinner fa-spin"></i>Clock-In');
});
$(document).on(YOUR_EVENT_HERE, function(){
$('.btn .fa-spinner').remove()
})
также, если вы хотите удалить его после некоторой анимации, вы можете попробовать
$('#clock_in').click(function(e){
var animationDuration = 2000;
$('.btn').html('<i class="fa fa-spinner fa-spin"></i>Clock-In');
setTimeout(function(){
$('.btn .fa-spinner').remove()
}, animationDuration)
});