Использование pd.read_ sql с chunksize дает ошибку - передано 20 столбцов, переданные данные имеют 0 столбцов - PullRequest
Новая
       69

Использование pd.read_ sql с chunksize дает ошибку - передано 20 столбцов, переданные данные имеют 0 столбцов

0 голосов
/ 20 июня 2020

Я использую следующий код для чтения большой таблицы в DataFrame, но после нескольких итераций я получаю сообщение «Ошибка утверждения»: 20 столбцов переданы, в переданных данных было 0 столбцов. 

#Create the connection
with pymssql.connect(server="server",
                 user="u_id",
                 password="pwd",
                 port="port",
                 database="db") as conn:


    generator = pd.read_sql("SELECT * FROM table", conn, chunksize=50000)

    #Append the Data to dataframe
    for a in generator: 
        df = pd.DataFrame()               
        df = df.append(a)

Пожалуйста, дайте мне знать, есть ли обходной путь или какой-либо другой способ чтения большой SQL таблицы в DataFrame без проблем с памятью.

Спасибо и ценим ваши предложения.

...