Pandas становится смехотворно медленным при загрузке более 10 миллионов записей с сервера Teradata с использованием тераданных sql и в основном функции pandas .read_ sql (query, teradata_con). загрузка 1-1,5 миллиона записей из таблицы тераданных занимает 40-45 минут.
sql_query = "select * from DB.TableName where columnname= 'values'"
df = pd.read_sql(sql_query, con_t)
Я использовал параметр chunksize alse, но он не сокращает время выполнения, только загружает данные по частям с одинаковым временем. Я также попытался изучить пакет IOPro, но не получил много информации об этом. Есть ли способ сократить время выполнения? Потому что, когда я выполняю тот же запрос sql непосредственно в инструменте управления, это занимает 1/3 времени по сравнению с pandas.