PostgreSQL и S3QL для хранения / доступа к большому количеству данных

Question

В настоящее время мы используем Postgres 9 на Amazon EC2 и очень довольны производительностью.Теперь мы смотрим на добавление ~ 2 ТБ данных в Postgres, что больше, чем может вместить наш маленький экземпляр EC2.

Я обнаружил S3QL и планирую использовать его вместе с перемещениемКаталог данных Postgres в хранилище S3.У кого-нибудь был опыт с этим?В основном меня интересует производительность (частые чтения, менее частые записи).Любой совет приветствуется, спасибо.

Answer 1

Мой совет - не делай этого.Я ничего не знаю о контексте вашей проблемы, но думаю, что решение не должно включать массовую обработку данных через PostgreSQL.Единственная причина, по которой системы обработки сетки были изобретены, заключалась в том, чтобы решить проблему анализа больших массивов данных.Я думаю, вам следует подумать о создании системы, которая следует стандартным методам BI для извлечения данных измерений.Затем возьмите эти нормализованные данные и, если они все еще довольно большие, загрузите их в Hadoop / Pig.Сделай там свой анализ и агрегацию.Скопируйте полученные совокупные данные в файл и загрузите , что , в базу данных PG вместе с измерениями.