$(':checkbox:not(:checked)').each(function() {
});
Я не понимаю внутреннюю логику. Флажок A - это еще один флажок, в котором мы не знаем состояние. Вы хотите снять флажок, если какой-либо флажок снят, затем вы хотите снять флажок еще раз, если ни один из его братьев и сестер также не проверен?
Мы говорим о вашем стандартном флажке «выбрать все» или о каком-то другом дереве?
if($(':checkbox:not(#checkbox_A):not(:checked)').length > 0) {
$('#checkbox_A').attr('checked', '');
}