Druid & GKE - Обновление узла GKE делает стручки историй друидов загружать целые сегменты из корзины GCS - PullRequest
0 голосов
/ 08 июля 2019

У нас есть набор состояний для службы (история Druid), которая кэширует большое количество данных (TB) на локальных SSD. Эта служба имеет однозначное сопоставление с узлом с использованием анти-аффинности pod. Когда мы хотим обновить версию GKE, перенесем исторические модули на новый набор узлов (новый пул узлов GKE), это означает, что запуск модулей происходит с пустыми локальными дисками, а затем требуется некоторое время для пополнения их кэшей (~ 5 до 6 часы). В идеале мы хотим только выполнить плановую замену узлов (например, обновление пула узлов GKE) по одному узлу за раз и подождать, пока модуль на новом узле полностью не заполнит кэш, прежде чем развернуть следующий узел. Кто-нибудь может подсказать, как мы можем убедиться, что данные полностью загружены из корзины Deep Storage перед переходом к следующему обновлению узла, или есть ли способ избежать ситуации, когда все данные загружаются из S3.

...