Вы пытаетесь использовать результат подзапроса дважды . Чтобы (повторно) использовать его несколько раз, вам нужно поместить его в CTE (Common Table Expression). Как только вы это сделаете, запрос станет проще.
Например, вы можете перефразировать ваш запрос как:
with
x as (
select dept_id,count(dept_id) as numbers from employee group by dept_id
),
y as (
select dept_id from x where numbers = (select max(numbers) from x)
)
select dept_name
from department d
join y on y.dept_id = d.dept_id