Вы складываете селекторы так:
$('[name="4_observers"]:last:checked')
Просто добавьте их вместе, без пробелов, это работает для всех селекторов, будь то:
$('[name="4_observers"][id=4][rel=bob]')
// or:
$(':input:checkbox:last:checked')
Или, конечно, это ужасные фактические селекторы, но вы понимаете:)
Кроме того, кроме того, вы можете написать свой конкретный код, например, немного яснее:
$.validator.addMethod('ObserverOtherBox',function(v, e) {
return $('[name="4_observers"]:last').is(':checked')
&& $('[name="4_observerstxt"]').length == 0;
}, 'Please enter the other observers');