Можно найти использование библиотеки Pagination с удаленными вызовами API. Просто в вашем случае вы не будете звонить на удаленный API, а на базу данных. После того, как вы получите данные из базы данных, вы заполните источник данных и вуаля, у вас есть нумерация страниц. Концепция пагинации с db и удаленным api одинакова, Room только обернул ее, так что вы можете пропустить 2 шага.
Так что да, это возможно, вам просто нужно два дополнительных шага, чтобы достичь этого.
Создание пользовательского источника данных для подкачки: