AWS RDS Postgres максимальный экземпляр и размер таблицы

Question

Заранее спасибо!

Я планирую использовать AWS RDS Postgres для довольно больших данных (> ~ 50 ТБ), но у меня есть пара вопросов без ответа

1. Является ли 16 ТБ максимальным пределом для экземпляра AWS RDS Postgres, если так, как люди хранят> 16 ТБ данных.

2. Это ограничение в 16 ТБ для RDS максимального сжатия базы данных после сжатия, которое Postgresможно хранить в AWS.

3. Также я не вижу возможности включить сжатие при настройке экземпляра AWS RDS Postgres DB.Как включить сжатие в AWS RDS Postgres?

Я следовал:

1. https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/CHAP_Limits.html

2. https://blog.2ndquadrant.com/postgresql-maximum-table-size/ (где таблица Postgres может иметь размер больше 32 ТБ).

3. https://wiki.postgresql.org/wiki/FAQ#What_is_the_maximum_size_for_a_row.2C_a_table.2C_and_a_database.3F

Answer 1

В дополнение к RDS для PostgreSQL, который имеет ограничение в 32 ТиБ, вы должны взглянуть на Amazon Aurora PostgreSQL, который имеет ограничение в 64 ТиБ.В обоих случаях самая большая отдельная таблица, которую вы можете создать, составляет 32 ТиБ, хотя вы не можете достичь этого размера в RDS для PostgreSQL, поскольку часть пространства будет занята системным каталогом.

Полное раскрытие: Я менеджер по продукту для Aurora PostgreSQL в AWS.

Answer 2

По состоянию на 2019/02/11 Документы Amazon указывают, что максимальный размер базы данных для экземпляра Postgres RDS составляет 32 ТБ.Кроме того, этот предел в 32 ТБ, по-видимому, является жестким (некоторые ограничения AWS считаются «мягкими» в том смысле, что пользователь может запросить их повышение)

Как и другие предлагали, одним из вариантов будет управление вашим собственнымбазы данных, однако это вряд ли будет легко, учитывая масштаб данных, о которых мы здесь говорим.

Оставаясь в экосистеме AWS, можно было бы сохранить все ваши данные в S3 и использовать AWS Athena для выполнения запросов, хотя в зависимости от того, какие запросы вы будете выполнять, может стоить довольно дорого.

Что касается вопроса о сжатии, если высохраняя данные в s3, вы можете сжать их перед загрузкой.Вы также можете найти этот ответ полезным.