Прежде всего, вам нужно, чтобы !
внутри условной проверки:
if (!$(this).find("input:checked")) {}
Во-вторых, метод .find возвращает объект jQuery, поэтому дажеесли он ничего не найдет, он все равно будет правдивым.
Возможно, вы захотите проверить длину объекта jQuery:
if (!$(this).find("input:checked").length) {}
Если элементов нет, то и т. д.и т. д.