SQLAlchemy Insert to MySQL DB UnicodeEncodeError для данных cyrli c - PullRequest
Новая
       75

SQLAlchemy Insert to MySQL DB UnicodeEncodeError для данных cyrli c

1 голос
/ 02 августа 2020

Я использую Python .SQLAlchemy с MySQL базой данных. Весь приведенный ниже код нормально работает для латинских символов в данных, но не работает для cyrili c:

UnicodeEncodeError: код 'charmap' c не может кодировать символы в позиции 0-17: символ сопоставляется с

Я добавил "encoding = 'utf8', convert_unicode = True" в конструктор движка, но ничего не меняет

Charset / Collation в MySQL для таблицы: utf8 / utf8-bin

Код:

Подключение к базе данных 

    def DB_alchemy(self, category, db="mysql://user:pass@localhost/all_gid_2"):
    self.sql_engine = sql.create_engine(db, echo=True, encoding='utf8', convert_unicode=True)

    metadata = sql.MetaData(self.sql_engine)

    sql_tbl_name_products = category+'_products'
    sql_tbl_name_class = category + '_classes'

    self.tbl_products = sql.Table(sql_tbl_name_products, metadata, autoload=True)
    self.tbl_classes = sql.Table(sql_tbl_name_class, metadata, autoload=True)

    self.connection = self.sql_engine.connect()

....

Вставить 

def Insert_df_to_SQL(self, df, tbl):

        dict_insert = df.to_dict(orient='records')

        insert_qry = tbl.insert()
        self.connection.execute(insert_qry, dict_insert)

Эхо движка SQLAlchemy в cyrrili c data:

2020-08-02 22: 07: 05,839 INFO sqlalchemy.engine.base.Engine INSERT INTO Nb_classes (type, class_subtype, text, объяснение , name) VALUES (% s,% s,% s,% s,% s) 2020-08-02 22: 07: 05,840 INFO sqlalchemy.engine.base.Engine ('CL', 'Производительность', 'Расширенная функциональность ',' Стандартный процессор, внешняя графика начального уровня, мультимедиа ',' CL_discret_lite ') 2020-08-02 22: 07: 05,840 INFO sqlalchemy.engine.base.Engine ROLLBAC K 

    Traceback (most recent call last):
  File "C:/Users/shulya403/Shulya403_works/all_gid_2/Database/db_insert_pd.py", line 259, in <module>
    FillDB.Classes_to_SQL(df_new=FillDB.df_Classes.head(3))
  File "C:/Users/shulya403/Shulya403_works/all_gid_2/Database/db_insert_pd.py", line 241, in Classes_to_SQL
    self.Insert_df_to_SQL(df_select, self.tbl_classes)
  File "C:/Users/shulya403/Shulya403_works/all_gid_2/Database/db_insert_pd.py", line 166, in Insert_df_to_SQL
    self.connection.execute(insert_qry, dict_insert)
  File "C:\Users\shulya403\Shulya403_works\all_gid_2\venv\lib\site-packages\sqlalchemy\engine\base.py", line 1014, in execute
    return meth(self, multiparams, params)
  File "C:\Users\shulya403\Shulya403_works\all_gid_2\venv\lib\site-packages\sqlalchemy\sql\elements.py", line 298, in _execute_on_connection
    return connection._execute_clauseelement(self, multiparams, params)
  File "C:\Users\shulya403\Shulya403_works\all_gid_2\venv\lib\site-packages\sqlalchemy\engine\base.py", line 1133, in _execute_clauseelement
    distilled_params,
  File "C:\Users\shulya403\Shulya403_works\all_gid_2\venv\lib\site-packages\sqlalchemy\engine\base.py", line 1318, in _execute_context
    e, statement, parameters, cursor, context
  File "C:\Users\shulya403\Shulya403_works\all_gid_2\venv\lib\site-packages\sqlalchemy\engine\base.py", line 1515, in _handle_dbapi_exception
    util.raise_(exc_info[1], with_traceback=exc_info[2])
  File "C:\Users\shulya403\Shulya403_works\all_gid_2\venv\lib\site-packages\sqlalchemy\util\compat.py", line 178, in raise_
    raise exception
  File "C:\Users\shulya403\Shulya403_works\all_gid_2\venv\lib\site-packages\sqlalchemy\engine\base.py", line 1278, in _execute_context
    cursor, statement, parameters, context
  File "C:\Users\shulya403\Shulya403_works\all_gid_2\venv\lib\site-packages\sqlalchemy\engine\default.py", line 593, in do_execute
    cursor.execute(statement, parameters)
  File "C:\Users\shulya403\Shulya403_works\all_gid_2\venv\lib\site-packages\MySQLdb\cursors.py", line 199, in execute
    args = tuple(map(db.literal, args))
  File "C:\Users\shulya403\Shulya403_works\all_gid_2\venv\lib\site-packages\MySQLdb\connections.py", line 280, in literal
    s = self.string_literal(o.encode(self.encoding))
  File "C:\Users\shulya403\AppData\Local\Continuum\anaconda3\lib\encodings\cp1252.py", line 12, in encode
    return codecs.charmap_encode(input,errors,encoding_table)
UnicodeEncodeError: 'charmap' codec can't encode characters in position 0-17: character maps to <undefined>

Что мне делать?

1 Ответ

2 голосов
/ 02 августа 2020

Попробуйте добавить ?charset=utf8mb4 в конец URI вашего подключения. - Горд Томпсон

1004 *
...