У меня есть 8 SQL Серверные таблицы, расположенные в 3 схемах. Я хочу получить все записи из каждой таблицы и преобразовать их в фрейм данных.
В настоящее время я использую l oop следующим образом:
import pyodbc
from sqlalchemy import create_engine
import pandas as pd
import sqlalchemy as db
metadata = MetaData()
engine = create_engine("mssql+pyodbc://sa:reallyStrongPwd123@127.0.0.1,1433/master?driver=/usr/local/Cellar/msodbcsql17/17.5.2.1/lib/libmsodbcsql.17.dylib")
conn = engine.connect()
metadata = db.MetaData()
census = Table('table1', metadata, autoload=True, autoload_with=engine,schema='V20_UK1')
print(census.columns.keys())
query = db.select([census])
ResultProxy = conn.execute(query)
ResultSet = ResultProxy.fetchmany(1000)
df = pd.DataFrame(ResultSet)
Я хочу выполнить эти запросы select параллельно , Для сведения все эти таблицы имеют более 1000 тыс. Записей. Как я могу сделать это эффективным способом? Например, другими именами таблиц являются «table2», «table2», а схема и база данных совпадают.