Вы можете использовать hasClass, чтобы проверить, был ли класс уже добавлен.
Попробуйте это:
$(this).find("input[type='radio'],input[type='checkbox']").filter(function(){
return !$(this).hasClass('IE8Border');
}).addClass('IE8Border');
Вы также можете избежать использования фильтра со следующей версией:
$(this).find("input[type='radio']:not(.IE8Border),input[type='checkbox']:not(.IE8Border)").addClass('IE8Border');
EDIT:
Если ваша проверка только для существования класса, попробуйте это:
$(this).find("input[type='radio'],input[type='checkbox']").filter(function(){
var thisClass = $(this).attr("class");
return !(thisClass && thisClass.length > 0);
}).addClass('IE8Border');