Специальная конфигурация сервера postgresql для анализа данных - PullRequest
Новая
       16

Специальная конфигурация сервера postgresql для анализа данных

0 голосов
/ 12 октября 2018

Есть ли какие-либо советы по настройке производительности сервера с использованием файла postgresql.conf в случае, если вы используете базу данных postgresql специально для отдела данных и анализа данных?Или сама настройка производительности не зависит от цели, и нет никакой разницы, что вы будете с ней делать, поскольку «все дело в извлечении данных»?

Это довольно неясный вопрос, на который я не нашел ответа (в мириадах статей на тему науки о данных).

Ответы [ 2 ]

0 голосов
/ 05 мая 2019

Мне задавался тот же вопрос, что и ОП, и я ничего не мог найти по этому поводу.Наше требование состоит в том, чтобы просто 2 исследователя данных обращались к данным, разбирали их, изучали и т. Д. Вот наша текущая настройка и конфигурация

  • Данные: 5 миллиардов строк (~ 300 ГБ) облачных часов AWS 5-минутные данные
  • Аппаратное обеспечение: AWS EC2 t2.2xlarge (8 ядер, 32 ГБ ОЗУ, 500 ГБ gp2 диск)
  • Postgresql версия 10
  • Модифицированные разделы /etc/postgresql/10/main/postgresql.conf
work_mem = 25GB
maintenance_work_mem = 25GB

max_worker_processes = 8
max_parallel_workers = 8
max_parallel_workers_per_gather = 4

Я буду более чем рад, если у кого-то появятся дальнейшие предложения.

Редактировать: я разместил это как вопрос на DBA stackexchange , для дальнейших предложений.

0 голосов
/ 12 октября 2018

Хотя это очень общий вопрос, я сделаю все возможное, чтобы дать вам подсказку или два:

Вы могли бы сначала дать оценку ваших требований, например:

  • мы говорим о блоках больших данных?(размеры буфера)
  • из скольких клиентов выполняются запросы?(разрешенные соединения)
  • Вы используете внутренние функции postgresql?
  • Вам нужны постоянные резервные копии или копии таблиц или базы данных вокруг?
  • и т. д., и т. д., ..

Я бы порекомендовал вам прочитать статью из официальных документов о потреблении ресурсов и документах по планированию запросов , а также конфигурации сервера в общем.

Если вы не можете найти правильный подход после прочтения документации, я могу порекомендовать pg-forum .Опытный пользователь 'akretschmer' является postgresql-pro и может помочь вам, если вы сформулируете свой вопрос подробно и содержательно;)

...