Используйте UNION ALL, чтобы выбрать 2 строки, которые должны существовать в результатах, и 98 случайных строк:
select id from sample_table
where id in (34, 78)
union all
select id from (
select id from sample_table
where where id not in (34, 78)
order by rand() limit 98
) t
order by rand()
или проще с условной сортировкой:
select * from (
select id from sample_table
order by id not in (34, 78), rand()
limit 100
) t
order by rand()