Python SQLAlchemy: предел строк для хранения в PostgreSQL?

Question

Я использую SQLAlchemy в Python3 для хранения кадров данных панд в таблице PostreSQL. Вещи работают до 78M строк для хранения, вещи работают с 20M строк, но

Got 75032111 rows.

Total time taken 11222.68 s.
Finished at 2018-05-04 06:07:34.
Killed

где хранилище убито. Я использую команду SQLAlechemy df.to_sql(dbName, engine).

Есть ли ограничение для хранения данных в базе данных PSQL с помощью SQLAlchemy в Python? Каков предпочтительный способ хранения больших таблиц, какая-нибудь команда синхронизации для продолжения сохранения, если что-то перехватывается из-за большого размера?

Answer 1

Я не достиг этого предела раньше, но вы могли бы вставлять партии, используя:

df.to_sql(dbName, engine, chunksize=100000)  # alter chunksize to your liking