Поворот рядов в колонны с пандами - PullRequest
0 голосов
/ 02 апреля 2019

Я учусь создавать систему совместной работы пользователей и пользователей, где я читаю неявные данные из моей базы данных MySql с помощью Python: MySql_Connector.С помощью данных о покупке я пытаюсь создать матрицу рейтинга элементов пользователя *, для которой я делю строки (700 000 строк) на столбцы с пандами.Я получаю следующую ошибку при запуске pivot со всем фреймом данных.

"ValueError: Unstacked DataFrame слишком велик, вызывая переполнение int32"

import mysql.connector
import pandas as pd
import numpy as np
from mysql.connector import errorcode
def readData():
    try:
        mySQLConnection = mysql.connector.connect(host='localhost',
                                             database='testdb',
                                             user='user',
                                             password='pwd')
        cursor = mySQLConnection.cursor(prepared=True)
        sql_select_query = """""" #Removed the select query
        cursor.execute(sql_select_query)
        record = cursor.fetchall()
        return record
    except mysql.connector.Error as error:
        print("Failed to get record from database: {}".format(error))
    finally:
        # closing database connection.
        if (mySQLConnection.is_connected()):
            cursor.close()
            mySQLConnection.close()
            print("connection is closed")

data = readData()
df = pd.DataFrame(data,columns=['user_id','product_id','purchase_count'])
data_pivot = pd.pivot_table(df,index=['user_id'],columns=df['product_id'])
#print(data_pivot.to_string())

python_version: 3.6 os: win7 ram: 16 Гб pandas_version: 0.24.2

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...