В принципе, в API нет вызовов, которые позволили бы вам получать исторические данные из Twitter за определенным объемом данных.Некоторые предполагают, что они даже не записывают информацию на своих серверах.Перебирая, по крайней мере, различные Java-API, которые были доступны, не было ничего, что могло бы привести к возвращению более определенного количества страниц.
Есть еще один (похожий) вопрос, опубликованный здесь, откуда я получил эту информацию: Получение исторических данных из Twitter
Итак, чтобы ответить на ваш вопрос, это происходит именно так, потому что Twitter не позволяет вам захватывать больше, чем, потому что у них его нет, илиони не хотят, чтобы у вас это было:)