Я учусь создавать систему совместной работы пользователей и пользователей, где я читаю неявные данные из моей базы данных MySql с помощью Python: MySql_Connector.С помощью данных о покупке я пытаюсь создать матрицу рейтинга элементов пользователя *, для которой я делю строки (700 000 строк) на столбцы с пандами.Я получаю следующую ошибку при запуске pivot со всем фреймом данных.
"ValueError: Unstacked DataFrame слишком велик, вызывая переполнение int32"
import mysql.connector
import pandas as pd
import numpy as np
from mysql.connector import errorcode
def readData():
try:
mySQLConnection = mysql.connector.connect(host='localhost',
database='testdb',
user='user',
password='pwd')
cursor = mySQLConnection.cursor(prepared=True)
sql_select_query = """""" #Removed the select query
cursor.execute(sql_select_query)
record = cursor.fetchall()
return record
except mysql.connector.Error as error:
print("Failed to get record from database: {}".format(error))
finally:
# closing database connection.
if (mySQLConnection.is_connected()):
cursor.close()
mySQLConnection.close()
print("connection is closed")
data = readData()
df = pd.DataFrame(data,columns=['user_id','product_id','purchase_count'])
data_pivot = pd.pivot_table(df,index=['user_id'],columns=df['product_id'])
#print(data_pivot.to_string())
python_version: 3.6 os: win7 ram: 16 Гб pandas_version: 0.24.2