Я хочу использовать StandardScaler в моем DataFrame. У df в настоящее время есть 303MB. После применения StandardScaler объект DataFrame превратился в массивный массив размером 2529 МБ. Как это возможно? Как мне решить эту проблему?
Я просто преобразовал его здесь вручную и не использовал StandardScaler, но результат тот же. Вычисления намного дольше с таким огромным набором данных. Как я могу решить эту проблему?
X.info()
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 150930 entries, 0 to 150929
Columns: 2095 entries, len_description to winery_àMaurice
dtypes: int32(1), int64(1), uint8(2093)
memory usage: 303.0 MB
np.array(X.values).nbytes/1e6
2529.5868