Вы хотите ранжировать записи агента сначала рецензентом, а затем случайным образом.Для этого используйте ROW_NUMBER
:
select [Date], agent, [Case], accuracy, reviewer
from
(
select
[Date], agent, [Case], accuracy, reviewer,
row_number() over (partition by agent order by reviewer, checksum(newid())) as rn
from mytable
) ranked
where rn <= 5
order by agent, reviewer;