слишком большой оператор при передаче данных в базу данных красного смещения из python

Question

Я помещаю pandas dataframe в таблицу красных смещений и получаю следующую ошибку

cur.execute("INSERT INTO sir_main VALUES " + str(args_str))
psycopg2.ProgrammingError: Statement is too large. Statement Size: 58034743 
bytes. Maximum Allowed: 16777216 bytes`

И это останавливает выполнение.Есть ли способ настроить ограничение при загрузке в базу данных?

Answer 1

Если вы загружаете более нескольких сотен строк, вы должны сохранить фрейм данных в виде простого файла на S3 и загрузить его в Redshift, используя COPY.https://docs.aws.amazon.com/redshift/latest/dg/r_COPY.html