не работает куберентес связь между узлами - PullRequest
0 голосов
/ 14 октября 2018

У меня есть процедура установки кластера kubernetes через kubeadm, и она работала несколько раз.

по какой-то причине у меня сейчас есть кластер, который я установил, и по какой-то причине узлы испытывают проблемы со связью.

проблема отражается двумя способами: иногда кластер не может разрешить глобальные записи DNS, такие как mirrorlist.centos.org, иногда один модуль из определенного узла не может подключиться к другому модулю в другом узле

моя версия kubernetes 1.9.2 мои хосты - centOS 7.4 Я использую фланель как плагин cni в версии 0.9.1 мой кластер построен на отладке AWS

до сих пор:

kubectl get nodes -o jsonpath='{.items[*].spec.podCIDR}'- чтобы увидеть подсети 10.244.0.0/24 10.244.1.0/24

  1. Я попытался добавить конфигурации в kubedns (даже если это необходимо во всех других моих кластерах), например https://kubernetes.io/docs/tasks/administer-cluster/dns-custom-nameservers/#configure-stub-domain-and-upstream-dns-servers

  2. Я попытался установить busybox и ding nslookup в кластер kubernetes.default, и он работает только с busybox на том же узле, что и dns (пробовал эту ссылку https://kubernetes.io/docs/tasks/administer-cluster/dns-debugging-resolution/

Я даже пытался создать AMI из других работающих сред и развернуть его как узел в этом кластере, и он все еще не работает.

Я попытался проверить, отсутствует ли какой-либо порт, поэтому я даже открыл все порты между узлами

Я также отключил iptables и брандмауэр и все узлы, просто чтобы убедиться, что это не причина

ничего не помогает.

пожалуйста, любой совет поможет

редактировать: я добавил свою фланелевую конфигурацию:

---
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1beta1
metadata:
  name: flannel
rules:
  - apiGroups:
      - ""
    resources:
      - pods
    verbs:
      - get
  - apiGroups:
      - ""
    resources:
      - nodes
    verbs:
      - list
      - watch
  - apiGroups:
      - ""
    resources:
      - nodes/status
    verbs:
      - patch
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1beta1
metadata:
  name: flannel
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: flannel
subjects:
- kind: ServiceAccount
  name: flannel
  namespace: kube-system
---
apiVersion: v1
kind: ServiceAccount
metadata:
  name: flannel
  namespace: kube-system
---
kind: ConfigMap
apiVersion: v1
metadata:
  name: kube-flannel-cfg
  namespace: kube-system
  labels:
    tier: node
    app: flannel
data:
  cni-conf.json: |
    {
      "name": "cbr0",
      "type": "flannel",
      "delegate": {
        "isDefaultGateway": true
      }
    }
  net-conf.json: |
    {
      "Network": "10.244.0.0/16",
      "Backend": {
        "Type": "vxlan"
      }
    }
---
apiVersion: extensions/v1beta1
kind: DaemonSet
metadata:
  name: kube-flannel-ds
  namespace: kube-system
  labels:
    tier: node
    app: flannel
spec:
  template:
    metadata:
      labels:
        tier: node
        app: flannel
    spec:
      hostNetwork: true
      nodeSelector:
        beta.kubernetes.io/arch: amd64
      tolerations:
      - key: node-role.kubernetes.io/master
        operator: Exists
        effect: NoSchedule
      serviceAccountName: flannel
      initContainers:
      - name: install-cni
        image: quay.io/coreos/flannel:v0.9.1-amd64
        command:
        - cp
        args:
        - -f
        - /etc/kube-flannel/cni-conf.json
        - /etc/cni/net.d/10-flannel.conf
        volumeMounts:
        - name: cni
          mountPath: /etc/cni/net.d
        - name: flannel-cfg
          mountPath: /etc/kube-flannel/
      containers:
      - name: kube-flannel
        image: quay.io/coreos/flannel:v0.9.1-amd64
        command: [ "/opt/bin/flanneld", "--ip-masq", "--kube-subnet-mgr" ]
        securityContext:
          privileged: true
        env:
        - name: POD_NAME
          valueFrom:
            fieldRef:
              fieldPath: metadata.name
        - name: POD_NAMESPACE
          valueFrom:
            fieldRef:
              fieldPath: metadata.namespace
        volumeMounts:
        - name: run
          mountPath: /run
        - name: flannel-cfg
          mountPath: /etc/kube-flannel/
      volumes:
        - name: run
          hostPath:
            path: /run
        - name: cni
          hostPath:
            path: /etc/cni/net.d
        - name: flannel-cfg
          configMap:
            name: kube-flannel-cfg

1 Ответ

0 голосов
/ 21 октября 2018

проблема заключалась в том, что машины AWS были предоставлены не мной, а команда, обеспечивающая машины, заверяла, что весь внутренний трафик открыт.

после большой отладки с помощью nmap я обнаружил, что порты UDPне открыт, и поскольку фланель требует трафика UDP, связь не работает должным образом.

после открытия UDP проблемы были решены.

...