Преобразование генератора из read_sql в pandas в dataframe не удалось

Question

Я хочу прочитать данные из моего оракула, я использую панды read_sql и установить параметр chunksize=20000,

from sqlalchemy import create_engine
import pandas as pd
engine = create_engine("my oracle")
df = pd.read_sql("select clause",engine,chunksize=20000)

Возвращает итератор, и я хочу преобразовать этот генератор в фрейм данных, используя df = pd.DataFrame(df), но это неверно. Как можно преобразовать итератор в фрейм данных?

Answer 1

Этот итератор может быть объединен, затем он возвращает фрейм данных:

df = pd.concat(df)

Вы можете просмотреть pandas.concat документ.

Если вы не можете использовать concat напрямую, попробуйте следующее:

gens = pd.read_sql("select clause",engine,chunksize=20000)
dflist = []
for gen in gens:
    dflist.append(gen)
df = pd.concat(dflist)