Не уверен, что вы спрашиваете, но если вы хотите найти врачей, у которых нет пациентов, вот как я бы написал ваш запрос:
select
<some stuff>
from
doctors d
left join visits v
on v.doctorid = v.doctorid
where
v.doctorid is null
Это даст вам все записи ваших врачей таблица, в которой нет совпадений в таблице посещений, нет необходимости в агрегировании. Это довольно стандартный шаблон. Вы также можете сделать запрос типа not exists
.