двойное значение ключа нарушает уникальное ограничение - ошибка postgres при попытке создать таблицу sql из dask dataframe - PullRequest
Новая
       49

двойное значение ключа нарушает уникальное ограничение - ошибка postgres при попытке создать таблицу sql из dask dataframe

0 голосов
/ 24 января 2019

Исходя из этого вопроса, при попытке создать таблицу postgresql из dask.dataframe с более чем одним разделом я получаю следующую ошибку: 

IntegrityError: (psycopg2.IntegrityError) duplicate key value violates unique constraint "pg_type_typname_nsp_index"
DETAIL:  Key (typname, typnamespace)=(test1, 2200) already exists.
 [SQL: '\nCREATE TABLE test1 (\n\t"A" BIGINT, \n\t"B" BIGINT, \n\t"C" BIGINT, \n\t"D" BIGINT, \n\t"E" BIGINT, \n\t"F" BIGINT, \n\t"G" BIGINT, \n\t"H" BIGINT, \n\t"I" BIGINT, \n\t"J" BIGINT, \n\tidx BIGINT\n)\n\n']

Вы можете воссоздать ошибку с помощью следующего кода: 

import numpy as np
import dask.dataframe as dd
import dask
import pandas as pd
import sqlalchemy_utils as sqla_utils
import sqlalchemy as sqla
DATABASE_CONFIG = {
    'driver': '',
    'host': '',
    'user': '',
    'password': '',
    'port': 5432,
}
DBNAME = 'dask'
url = '{driver}://{user}:{password}@{host}:{port}/'.format(
        **DATABASE_CONFIG)
db_url = url.rstrip('/') + '/' + DBNAME
# create db if non-existent
if not sqla_utils.database_exists(db_url):
    print('Creating database \'{}\''.format(DBNAME))
    sqla_utils.create_database(db_url)
conn = sqla.create_engine(db_url)
# create pandas df with random numbers
df = pd.DataFrame(np.random.randint(0,40,size=(100, 10)), columns=list('ABCDEFGHIJ'))
# add index so that it can be used as primary key later on
df['idx'] = df.index
# create dask df
ddf = dd.from_pandas(df, npartitions=4)
# Write to psql
dto_sql = dask.delayed(pd.DataFrame.to_sql)
out = [dto_sql(d, 'test', db_url, if_exists='append', index=False, index_label='idx')
       for d in ddf.to_delayed()]
dask.compute(*out)

Код не выдает ошибку, если npartitions установлен в 1. Итак, я предполагаю, что это связано с тем, что postgres не может обрабатывать параллельные запросы на запись в одну и ту же таблицу sql ...? Как я могу это исправить?

Ответы [ 2 ]

0 голосов
/ 02 апреля 2019

У меня была такая же ошибка с ponyORM на PostgreSQL в Heroku. Я решил это, заблокировав поток, пока он не выполнит операцию БД. В моем случае: 

lock = threading.Lock()
with lock:
    PonyOrmEntity(name='my_name', description='description')
    PonyOrmEntity.get(lambda u: u.name == 'another_name')
0 голосов
/ 21 марта 2019

Я читал это .Кажется, эта ошибка возникает, когда вы создаете / обновляете ту же таблицу с параллельной обработкой.Я понимаю, что это зависит от этого (как объяснено в обсуждении группы Google).

Так что я думаю, что это зависит от самого PostgreSQL, а не от драйвера соединения или модуля, используемого для многопроцессорной обработки.

Ну, на самом деле, единственный способ решить эту проблему - создать фрагменты, достаточно большие, чтобы процесс записи выполнялся медленнее, чем сам расчет.С большими кусками эта ошибка не возрастает.

...