Назначение:
Используя read_sql_query() и to_sql() методы pandas, цель моего python 3.7 сценария состояла в том, чтобы выполнить ETL нескольких таблиц с одного сервера на другой, прочитав файл .sql. Параметр соединения в обоих методах использует модуль create_engine из sqlalchemy.
Поднятая ошибка:
После успешного извлечения и загрузки первого набора таблиц + транзакций выдается четвертая ошибка.
sqlalchemy.exc.DBAPIError: (pyodbc.Error) ('HY090', '[HY090] [Microsoft][ODBC Driver Manager] Invalid string or buffer length (0) (SQLExecDirectW)')
Подробнее см. Ниже.
Процедура:
- Каждая извлеченная таблица записывается как транзакция SQL, разделенная на
; в одном файле SQL.
'ExtractTables.sql'
SET NOCOUNT ON
SELECT
[ID1]
, [Name]
, [LastUpdated]
, [UpdatedBy]
INTO #table1
FROM DB1.dbo.table1
SELECT * FROM #table1
;
SET NOCOUNT ON
SELECT
[ID1]
, [ID2]
, [Descr]
INTO #table2 FROM DB1.dbo.table2
SELECT * FROM #table2
- Параметры ODBC устанавливаются для двигателей с модулем
create_engine для каждого сервера. Оба сервера являются серверами MS-SQL. Из моего исследования я считаю, что моя ошибка исходит из параметра fast_executemany.
'connection.py'
import pyodbc
import urllib
from sqlalchemy import create_engine
#Use trusted connection to connect to server. fast_executemany is mssql specific. Allows for large data loads.
params_H = urllib.parse.quote_plus("DRIVER=ODBC Driver 17 for SQL Server;SERVER=SERVER1;DATABASE=DB1;Trusted_Connection=yes")
engine_H = create_engine(f'mssql+pyodbc:///?odbc_connect={params_H}', fast_executemany=True)
params_b = urllib.parse.quote_plus("DRIVER=ODBC Driver 17 for SQL Server;SERVER=SERVER2;DATABASE=DB2;Trusted_Connection=yes")
engine_b= create_engine(f'mssql+pyodbc:///?odbc_connect={params_b}', fast_executemany=True)
- Python Script для итерации по каждой команде и использование
read_sql_query() для каждой команды для извлечения и to_sql() для загрузки каждой таблицы.
'LoadTables.py'
import pandas as pd
import conn
def readSQLFile_makeTables(filename):
# Open and read file
open_file = open(filename, 'r')
sql_file = open_file.read()
open_file.close()
#all SQL commands (split on ';')
sql_commands = sql_file.split(';')
# Execute every command from file
sql_tables = ['stg_table1', 'stg_table2', 'stg_table3']
i = 0
for command in sql_commands:
table = pd.read_sql_query(command, con=conn.engine_H)
print(table)
table.to_sql(sql_tables[i], con=conn.engine_b, chunksize=5000, index=False, if_exists='append')
i += 1
print('think this ran')
Ошибка:
Для целей StackOverflow я ограничил свой sql-код 2 пакетами, однако он имеет 4. Первые 3 успешно прошли чтение и запись. Однако четвертый вызывает ошибку при записи. Основное различие в пакете таблицы ошибок по сравнению с остальными заключается в ее размере (7 миллионов строк x 8 столбцов) и следующем наивысшем значении (1,5 миллиона x 6 столбцов).
Поиск и устранение неисправностей:
Все ошибки, которые я исследовал в этой теме, указывают на то, что это проблема с соединением ODBC. Оба сервера 64-битные, я использую pydobc 4.025, и я тестировал только извлечение полей целочисленных значений. Первые транзакции, которые могут быть успешно загружены, говорят мне, что большинство работает, но у последней есть проблема, препятствующая загрузке. Я предполагаю размер, который, как мне кажется, обрабатывается chunksize=5000 и fast_executemany = true, а ошибка указывает на параметр привязки.
https://github.com/mkleehammer/pyodbc/issues/548
Traceback:
[6721864 rows x 8 columns]
Traceback (most recent call last):
File "C:\Users\x\AppData\Local\Continuum\anaconda3\envs\envname\lib\site-packages\sqlalchemy\engine\base.py", line 1244, in _execute_context
cursor, statement, parameters, context
File "C:\Users\x\AppData\Local\Continuum\anaconda3\envs\envname\lib\site-packages\sqlalchemy\engine\default.py", line 552, in do_execute
cursor.execute(statement, parameters)
pyodbc.Error: ('HY090', '[HY090] [Microsoft][ODBC Driver Manager] Invalid string or buffer length (0) (SQLExecDirectW)')
The above exception was the direct cause of the following exception:
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "PYTHON\Testing\ETL\LoadTables.py", line 21, in readSQLFile_makeTables
table = pd.read_sql_query(command, con=conn.engine_H)
File "\lib\site-packages\pandas\io\sql.py", line 314, in read_sql_query
parse_dates=parse_dates, chunksize=chunksize)
File "\lib\site-packages\pandas\io\sql.py", line 1063, in read_query
result = self.execute(*args)
File "\lib\site-packages\pandas\io\sql.py", line 954, in execute
return self.connectable.execute(*args, **kwargs)
File "\lib\site-packages\sqlalchemy\engine\base.py", line 2166, in execute
return connection.execute(statement, *multiparams, **params)
File "\lib\site-packages\sqlalchemy\engine\base.py", line 982, in execute
return self._execute_text(object_, multiparams, params)
File "\lib\site-packages\sqlalchemy\engine\base.py", line 1155, in _execute_text
parameters,
File "\lib\site-packages\sqlalchemy\engine\base.py", line 1248, in _execute_context
e, statement, parameters, cursor, context
File "\lib\site-packages\sqlalchemy\engine\base.py", line 1466, in _handle_dbapi_exception
util.raise_from_cause(sqlalchemy_exception, exc_info)
File "\lib\site-packages\sqlalchemy\util\compat.py", line 383, in raise_from_cause
reraise(type(exception), exception, tb=exc_tb, cause=cause)
File "\lib\site-packages\sqlalchemy\util\compat.py", line 128, in reraise
raise value.with_traceback(tb)
File "\lib\site-packages\sqlalchemy\engine\base.py", line 1244, in _execute_context
cursor, statement, parameters, context
File "\lib\site-packages\sqlalchemy\engine\default.py", line 552, in do_execute
cursor.execute(statement, parameters)
sqlalchemy.exc.DBAPIError: (pyodbc.Error) ('HY090', '[HY090] [Microsoft][ODBC Driver Manager] Invalid string or buffer length (0) (SQLExecDirectW)')
(Background on this error at: http://sqlalche.me/e/dbapi)