Я использую Apache Beam для чтения данных из хранилища данных Google Cloud с помощью собственных io.gcp.datastore.v1.datastoreio API-интерфейсов Python от Beam.
Я запускаю свой конвейер в облачном потоке данных Google Cloud.
Я хочучтобы мои работники не были перегружены данными.
Как я могу читать данные партиями или использовать какой-то другой механизм, чтобы мои работники не извлекали огромное количество данных за один раз?