PANDAS: переполнение int32?Не могу составить сводную таблицу

Question

Я использую метод pd.pivot_table () , чтобы создать матрицу элементов пользователя путем поворота данных активности элементов пользователя.Тем не менее, кадр данных настолько велик, что я получил жалобу следующим образом:

Unstacked DataFrame слишком велик, вызывая int32 переполнение

Любые предложения порешить эту проблему?Спасибо!

r_matrix = df.pivot_table(values='rating', index='userId', columns='movieId')

Answer 1

Целочисленное переполнение внутри библиотечного кода - это то, с чем вы ничего не можете поделать.В основном у вас есть три варианта:

1. Изменить входные данные , которые вы предоставляете библиотеке, чтобы переполнение не происходило.Вы, вероятно, должны в некотором смысле уменьшить ввод.Если это не помогает, возможно, вы неправильно используете библиотеку или попали в ошибку в библиотеке.
2. Используйте другую библиотеку (или ее вообще нет);Похоже, что используемая вами библиотека не предназначена для работы с большим вводом.
3. Измените код самой библиотеки , чтобы она могла обрабатывать ваш ввод.Это может быть трудно сделать, но если вы отправите запрос на извлечение исходного кода библиотеки, многие люди получат от этого выгоду.

Вы не предоставляете много кода, поэтому я не могу сказать, чтолучшее решение для вас.