Чтобы проверить, если хотя бы один отмечен:
$(".classname:checked", container).length > 0
«Контейнер» - это (необязательный) элемент контейнера.
Если вы хотите избежать использования имен классов для группировки, просто присвойте каждому флажку одно и то же имя:
<input type="checkbox" name="group1" value="1" />
<input type="checkbox" name="group1" value="2" />
<input type="checkbox" name="group1" value="3" />
Затем вы можете изменить код теста на:
$("[name=group1]:checked").length > 0