Я хочу построить объект LightGBM Dataset из очень больших X и y, которые нельзя загрузить в память. Есть ли какой-либо метод, который может создавать набор данных «пакетно»? например. что-то вроде
import lightgbm as lgb
ds = lgb.Dataset()
for X, y in data_generator():
ds.add_new_data(data=X, label=y)