Вы должны быть в состоянии связать селекторы атрибутов:
$('input[name="keywordCheckbox"][value="A"]').attr("checked",false);
Будет установлено значение false для ввода с именем keywordCheckbox и значением A.
$('input[name="keywordCheckbox"][value!="A"]').attr("checked",false);
установит флажок в значение false для входов с именем keywordCheckbox, значения которых не равны A.
EDIT
Я только что проверил следующее в Firefox / Macintosh с последней версией jQuery. Работает отлично. Какую версию jQuery вы используете?
$(document).ready( function() {
$('input[name=keywordCheckbox]').bind( 'click', function() {
if (this.checked) {
if (this.value == 'A') {
$('input[name="keywordCheckbox"][value!="A"]')
.attr("checked",false);
}
else {
$('input[name="keywordCheckbox"][value="A"]')
.attr("checked",false);
}
}
});
});