У меня есть настольный фрейм данных в python, и он очень большой. Я хотел бы разделить этот фрейм данных на обучающий тест, чтобы применить его к автокодеру, который написан на языке Keras. Но когда я запускаю приведенный ниже код, у меня возникает проблема с памятью.
import dask_ml.model_selection
x_train, x_test, y_train, y_test = dask_ml.model_selection.train_test_split(df[[columns]],
df['label'],test_size=0.1, random_state=1)
Я думаю, что решение состоит в том, чтобы разделить пакет данных на пакет, но я не знаю как. Поэтому, пожалуйста, дайте мне знать, что является лучшим решением.
Спасибо