Как создать сводную таблицу Pandas?

Question

У меня есть DataFrame размера (19999939, 5), сейчас я пытаюсь создать сводную таблицу для этого, используя следующую команду:

movie_user_rating_pivot = user_rating.pivot(index = 'userId', columns = 'movieId', values = 'rating').fillna(0)

Но это дает мне ошибку сообщение:

Кто-нибудь может мне помочь?

Answer 1

Я нашел эту проблему: https://github.com/pandas-dev/pandas/issues/26314. Автор говорит, что проблема не возникает для pandas 0,21. Теоретически у вас не так много ячеек (больше 2B), но, может быть, вы ошиблись в размере вашего фрейма данных, и он на самом деле больше? Я бы порекомендовал попробовать переключить версию pandas на 0.21 (если это возможно) и посмотреть, что произойдет.

Answer 2

понижение pandas до 21,1, это исправило мою проблему на данный момент. Более новые версии не поддерживают большой размер