Наиболее эффективным способом было бы сделать двусторонние отношения и применить IS NULL
на стороне "многих":
SELECT c FROM CategoryModel c WHERE c.parent IS NULL
Если вы не можете изменить отношения, вы можете сделать что-то вроде этого:
SELECT c FROM CategoryModel p RIGHT JOIN p.children c WHERE p IS NULL