ИМХО, вы должны выполнить необработанный SQL-запрос по типу ....
select c.*
from contacts c left join contacts_users cu on c.id = cu.contact_id
where cu.contact_id is null
Я не знаю ни одного довольно специфичного для ORM способа сделать это.Очевидно, вы захотите адаптировать запрос к фактическим полям из вашей таблицы.