Kubernetes Сложный путь в AWS - развертывание и настройка cloud-controller-manager

Question

Я проверил руководство Трудный путь Kubernetes и адаптация для AWS Трудный путь Kubernetes - AWS .

Все отлично работает с аддоном DNSи даже панель управления, как объяснено здесь .

Но если я создаю службу LoadBalancer, она не будет работать, так как cloud-controller-manager не развернут (ни как главный компонент, ни как daemonset).).

Я прочитал это https://kubernetes.io/docs/tasks/administer-cluster/running-cloud-controller/, чтобы получить некоторую информацию о том, как его развернуть, но если я применю необходимые изменения (в kubelet: --cloud-provider = external) и разверну набор демонов:

apiVersion: apps/v1
kind: DaemonSet
metadata:
  labels:
    k8s-app: cloud-controller-manager
  name: cloud-controller-manager
  namespace: kube-system
spec:
  selector:
    matchLabels:
      k8s-app: cloud-controller-manager
  template:
    metadata:
      labels:
        k8s-app: cloud-controller-manager
    spec:
      serviceAccountName: cloud-controller-manager
      containers:
      - name: cloud-controller-manager
        image: k8s.gcr.io/cloud-controller-manager:v1.8.0
        command:
        - /usr/local/bin/cloud-controller-manager
        - --cloud-provider=aws
        - --leader-elect=true
        - --use-service-account-credentials
        - --allocate-node-cidrs=true
        - --configure-cloud-routes=true
        - --cluster-cidr=${CLUSTERCIRD}
      tolerations:
      - key: node.cloudprovider.kubernetes.io/uninitialized
        value: "true"
        effect: NoSchedule
      - key: node-role.kubernetes.io/master
        effect: NoSchedule
      nodeSelector:
        node-role.kubernetes.io/master: ""

Экземпляры (контроллеры и рабочие) имеют все нужные роли.

Я даже не могу создать модуль, статус остается "Ожидание" ...

Знаете ли вы, как развернуть cloud-controller-manager как daemonset или главный компонент (без использования kops, kubeadm, ...) в кластере AWS?

Знаете ли вы руководство, которое могло бы помочь мне с этим?

Не могли бы вы привести пример конфигурации демона набора "менеджер облака"?

Заранее спасибо

ОБНОВЛЕНИЕ

При выполнении, kubectl get nodes Я получаю No resources found.

И при описании запущенного модуля я получаю только одно событие: Events: Type Reason Age From Message ---- ------ ---- ---- ------- Warning FailedScheduling 28s (x2 over 28s) default-scheduler no nodes available to schedule pods

Вопрос должен быть теперь: Как подготовить узлыс облачным контроллером, развернутым для aws?

Answer 1

Как уже упоминал samhain1138, ваш кластер не выглядит здоровым для установки чего-либо.В простых случаях это можно исправить, но иногда лучше все переустановить.

Давайте попробуем исследовать проблему.
Прежде всего, проверьте состояние вашего главного узла.Обычно это означает, что у вас должна быть запущена служба kubelet.
Проверьте журнал kubelet на наличие ошибок:

$ journalctl -u kubelet

Далее проверьте состояние ваших статических модулей.Вы можете найти их список в каталоге /etc/kubernetes/manifets:

$ ls /etc/kubernetes/manifests

etcd.yaml  
kube-apiserver.yaml  
kube-controller-manager.yaml  
kube-scheduler.yaml

$ docker ps

CONTAINER ID        IMAGE                  COMMAND                  CREATED             STATUS              PORTS               NAMES
5cbdc1c13c25        8a7739f672b4           "/sidecar --v=2 --..."   2 weeks ago         Up 2 weeks                              k8s_sidecar_kube-dns-86c47599bd-l7d6m_kube-system_...
bd96ffafdfa6        6816817d9dce           "/dnsmasq-nanny -v..."   2 weeks ago         Up 2 weeks                              k8s_dnsmasq_kube-dns-86c47599bd-l7d6m_kube-system_...
69931b5b4cf9        55ffe31ac578           "/kube-dns --domai..."   2 weeks ago         Up 2 weeks                              k8s_kubedns_kube-dns-86c47599bd-l7d6m_kube-system_...
60885aeffc05        k8s.gcr.io/pause:3.1   "/pause"                 2 weeks ago         Up 2 weeks                              k8s_POD_kube-dns-86c47599bd-l7d6m_kube-system_...
93144593660c        9f355e076ea7           "/install-cni.sh"        2 weeks ago         Up 2 weeks                              k8s_install-cni_calico-node-nxljq_kube-system_...
b55f57529671        7eca10056c8e           "start_runit"            2 weeks ago         Up 2 weeks                              k8s_calico-node_calico-node-nxljq_kube-system_...
d8767b9c07c8        46a3cd725628           "/usr/local/bin/ku..."   2 weeks ago         Up 2 weeks                              k8s_kube-proxy_kube-proxy-lf8gd_kube-system_...
f924cefb953f        k8s.gcr.io/pause:3.1   "/pause"                 2 weeks ago         Up 2 weeks                              k8s_POD_calico-node-nxljq_kube-system_...
09ceddabdeb9        k8s.gcr.io/pause:3.1   "/pause"                 2 weeks ago         Up 2 weeks                              k8s_POD_kube-proxy-lf8gd_kube-system_...
9fc90839bb6f        821507941e9c           "kube-apiserver --..."   2 weeks ago         Up 2 weeks                              k8s_kube-apiserver_kube-apiserver-kube-master_kube-system_...
8ea410ce00a6        b8df3b177be2           "etcd --advertise-..."   2 weeks ago         Up 2 weeks                              k8s_etcd_etcd-kube-master_kube-system_...
dd7f9b381e4f        38521457c799           "kube-controller-m..."   2 weeks ago         Up 2 weeks                              k8s_kube-controller-manager_kube-controller-manager-kube-master_kube-system_...
f6681365bea8        37a1403e6c1a           "kube-scheduler --..."   2 weeks ago         Up 2 weeks                              k8s_kube-scheduler_kube-scheduler-kube-master_kube-system_...
0638e47ec57e        k8s.gcr.io/pause:3.1   "/pause"                 2 weeks ago         Up 2 weeks                              k8s_POD_etcd-kube-master_kube-system_...
5bbe35abb3a3        k8s.gcr.io/pause:3.1   "/pause"                 2 weeks ago         Up 2 weeks                              k8s_POD_kube-controller-manager-kube-master_kube-system_...
2dc6ee716bb4        k8s.gcr.io/pause:3.1   "/pause"                 2 weeks ago         Up 2 weeks                              k8s_POD_kube-scheduler-kube-master_kube-system_...
b15dfc9f089a        k8s.gcr.io/pause:3.1   "/pause"                 2 weeks ago         Up 2 weeks                              k8s_POD_kube-apiserver-kube-master_kube-system_...

Подробное описание контейнера любого контейнера можно увидеть с помощью команды:

$ docker inspect <container_id>

Или проверьте журналы.:

$ docker logs <container_id>

Этого должно быть достаточно, чтобы понять, что делать дальше, либо попытайтесь исправить кластер, либо разберите все и начните с самого начала.

Чтобы упростить процесс подготовки Kubernetesкластера, вы можете использовать kubeadm следующим образом:

# This instruction is for ubuntu VMs, if you use CentOS, the commands will be
# slightly different.

### These steps are the same for the master and the worker nodes
# become root
$ sudo su

# add repository and keys
$ curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | apt-key add -

$ cat <<EOF >/etc/apt/sources.list.d/kubernetes.list
deb http://apt.kubernetes.io/ kubernetes-xenial main
EOF

# install components
$ apt-get update
$ apt-get -y install ebtables ethtool docker.io apt-transport-https kubelet kubeadm kubectl

# adjust sysctl settings
$ cat <<EOF >>/etc/ufw/sysctl.conf
net/ipv4/ip_forward = 1
net/bridge/bridge-nf-call-ip6tables = 1
net/bridge/bridge-nf-call-iptables = 1
net/bridge/bridge-nf-call-arptables = 1
EOF

$ sysctl --system

### Next steps are for the master node only.

# Create Kubernetes cluster
$ kubeadm init --pod-network-cidr=192.168.0.0/16
or if you want to use older KubeDNS instead of CoreDNS:
$ kubeadm init --pod-network-cidr=192.168.0.0/16 --feature-gates=CoreDNS=false

# Configure kubectl
$ mkdir -p $HOME/.kube
$ cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
$ chown $(id -u):$(id -g) $HOME/.kube/config

# install Calico network
$ kubectl apply -f https://docs.projectcalico.org/v3.0/getting-started/kubernetes/installation/hosted/kubeadm/1.7/calico.yaml
# or install Flannel (not both)
$ kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

# Untaint master or/and join other nodes:
$ kubectl taint nodes --all node-role.kubernetes.io/master-

# run on master if you forgot the join command:
$ kubeadm token create --print-join-command

# run command printed on the previous step on the worker node to join it to the existing cluster.

# At this point you should have ready to user Kubernetes cluster.
$ kubectl get nodes -o wide
$ kubectl get pods,svc,deployments,daemonsets --all-namespaces

После восстановления кластера, вы можете попробовать установить cloud-controller-manager снова и поделиться результатами?

Answer 2

У меня была такая же проблема при попытке установить cloud-provider с помощью GCE.Я решил проблему, добавив следующие флаги в kube-apiserver.service, kubelet.service и kube-controller-manager.service.

--cloud-provider=gce \
--cloud-config=/var/lib/gce.conf \

Файл gce.conf основан на файле ключа json, созданном из учетной записи службы Google IAM, нов формате Gcfg .Я уверен, что в AWS есть что-то похожее.Формат выглядит следующим образом:

[Global]
type = xxx
project-id = xxx
private-key-id = xxx
private-key = xxx
client-email = xxx
client-id = xxx
auth-uri = xxx
token-uri = xxx
auth-provider-x509-cert-url = xxx
client-x509-cert-url = xxx

Для получения дополнительной информации см. Документацию K8s о облачном провайдере.

Answer 3

Забудьте о cloud-controller-manager, у вас, похоже, нет работающего кластера Kubernetes для его запуска !!!
Kubernetes точно вам это говорит, но вы проигнорировали его ...

Без обид, но, возможно, если у вас нет опыта работы с Kubernetes, вам не следует пытаться следовать руководству под названием Kubernetes The Hard Way (вы потерпели неудачу, и вы не предоставили мне никакой информации, чтобы точно указать, почему / как), но использовать вместо этого kops или kubeadm?