Ключом к этому являются упорядоченные результаты:
select id, name from country where id > @highest_id_so_far order by id limit 5;
Начните с отрицательного @highest_id_so_far. Вы получите первые записи, скажем, идентификаторы 1, 4, 5, 6, 7.
Максимальный возвращенный идентификатор был 7, поэтому запрос с @highest_id_so_far = 7 тогда, и вы получите следующие пять строк (например, 8 , 10, 12, 23, 24). И так далее.