То, что вы ищете:
$(this).not(".someClassName").append("<b>");
Вы также можете использовать условное выражение:
if (!$(this).hasClass("someClassName")) {
...
}
:not
на самом деле не применимо к этой ситуации, если вы не хотите, например, найти всех потомков, у которых нет определенного класса:
$(this).find(":not(.someClassName)")...
или
$(":not(.someClassName)", this)...
Эти два эквивалентны.