Узлы GKE неожиданно удалены и воссозданы

Question

Я создал кластер на Google Kubernetes Engine. Узлы удаляются / создаются очень часто (не реже одного раза в день). Несмотря на то, что создаются новые экземпляры для их замены, а модули перемещаются в эти новые узлы, я хотел бы понять, почему узлы исчезают.

Я проверил настройки, использованные для создания кластера и пула узлов:

• «Автоматическое обновление узла» отключено в пуле узлов.
• «Предварительно выгружаемые узлы» отключено.
• «Автоматическое восстановление узла» включено, но я не выгляжу так, как будто было восстановление узла, так как я ничего не вижу в gcloud container operations list в то время, когда мои узлы были удалены.

Я вижу, что все текущие узлы были (заново) созданы в 21:00, а кластер был создан в 08:35:

➜  ~ gcloud container clusters describe my-cluster --format=json
{
  "createTime": "2019-04-11T08:35:39+00:00",
  ...
  "nodePools": [
    {
      ...
      "management": {
        "autoRepair": true
      },
      "name": "default-pool",
    }
  ],
  "status": "RUNNING",
  ...
}

Как я могу отследить причину, по которой узлы были удалены?

Answer 1

Я попытался воспроизвести вашу проблему, создав кластер, вручную остановив кубелет на узле (запустив systemctl stop kubelet), чтобы вызвать восстановление и наблюдать за восстановлением узла.В моем случае я вижу операцию для автоматического восстановления узла, но я также вижу в журнале операций GCE, что виртуальная машина была удалена и воссоздана (с помощью учетной записи робота GKE).

Если вы запускаете gcloud compute operations list (или проверяете операции на странице облачной консоли ), вы должны увидеть, что вызвало удаление и воссоздание виртуальной машины.