Я согласен с Алексом в этом ответе, добавлю, что когда вы делаете это в старой школе (с токенами), у вас есть рука на токенах, это означает, что если вы имеете дело с большим количеством данных, то вы например, вы можете сохранить контрольные точки, чтобы вы могли хорошо выполнить перезапуск после сбоя, или просто приостановить свою работу, например, или также запустить многопоточные задания и разделить данные обучающего работника, как, например, работники Spark работают с данными, как токен. на основе тоже.
Драйвер автоматически обрабатывает пейджинг для вас, так что вам не нужно извлекать страницы со всеми преимуществами нативной вещи, обработанной для вас, но использование токена дает вам все руки на пути вы разбираетесь со всеми преимуществами, которые вы можете получить (нападая на определенный c диапазон, конкретный c сервер)
Надеюсь, это поможет!