После преобразования DataFrame в массив используется в 8 раз больше памяти.Зачем? - PullRequest
1 голос
/ 17 апреля 2019

Я хочу использовать StandardScaler в моем DataFrame. У df в настоящее время есть 303MB. После применения StandardScaler объект DataFrame превратился в массивный массив размером 2529 МБ. Как это возможно? Как мне решить эту проблему?

Я просто преобразовал его здесь вручную и не использовал StandardScaler, но результат тот же. Вычисления намного дольше с таким огромным набором данных. Как я могу решить эту проблему?

    X.info()

    <class 'pandas.core.frame.DataFrame'>
    RangeIndex: 150930 entries, 0 to 150929
    Columns: 2095 entries, len_description to winery_àMaurice
    dtypes: int32(1), int64(1), uint8(2093)
    memory usage: 303.0 MB

    np.array(X.values).nbytes/1e6

    2529.5868
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...