Nginx Ingress Controller - Ошибка вызова Webhook - PullRequest
Новая
       240

Nginx Ingress Controller - Ошибка вызова Webhook

4 голосов
/ 05 мая 2020

Я установил кластер k8s с помощью kubeadm (v1.18) на виртуальной машине Ubuntu. Теперь мне нужно добавить Ingress Controller. Я выбрал nginx (но я открыт для других решений). Я установил его в соответствии с docs , раздел "bare-metal":

kubectl apply -f https://raw.githubusercontent.com/kubernetes/ingress-nginx/controller-0.31.1/deploy/static/provider/baremetal/deploy.yaml

Установка мне кажется прекрасной:

kubectl get all -n ingress-nginx

NAME                                            READY   STATUS      RESTARTS   AGE
pod/ingress-nginx-admission-create-b8smg        0/1     Completed   0          8m21s
pod/ingress-nginx-admission-patch-6nbjb         0/1     Completed   1          8m21s
pod/ingress-nginx-controller-78f6c57f64-m89n8   1/1     Running     0          8m31s

NAME                                         TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)                      AGE
service/ingress-nginx-controller             NodePort    10.107.152.204   <none>        80:32367/TCP,443:31480/TCP   8m31s
service/ingress-nginx-controller-admission   ClusterIP   10.110.191.169   <none>        443/TCP                      8m31s

NAME                                       READY   UP-TO-DATE   AVAILABLE   AGE
deployment.apps/ingress-nginx-controller   1/1     1            1           8m31s

NAME                                                  DESIRED   CURRENT   READY   AGE
replicaset.apps/ingress-nginx-controller-78f6c57f64   1         1         1       8m31s

NAME                                       COMPLETIONS   DURATION   AGE
job.batch/ingress-nginx-admission-create   1/1           2s         8m31s
job.batch/ingress-nginx-admission-patch    1/1           3s         8m31s

Однако при попытке применить пользовательский Ingress я получаю следующую ошибку:

Error from server (InternalError): error when creating "yaml/xxx/xxx-ingress.yaml": Internal error occurred: failed calling webhook "validate.nginx.ingress.kubernetes.io": Post https://ingress-nginx-controller-admission.ingress-nginx.svc:443/extensions/v1beta1/ingresses?timeout=30s: Temporary Redirect

Есть идеи, что может быть не так?

Я подозревал DNS, но другие службы NodePort работают должным образом, а DNS работает в кластере.

Единственное, что я вижу, это то, что у меня нет бэкэнда default-http, который упоминается в документах здесь . Однако в моем случае это кажется нормальным, согласно этой ветке .

И последнее, но не менее важное: я также пробовал установку с манифестами (после удаления входящего- nginx из предыдущей установки) и установка через Helm-диаграмму . Результат тот же.

Я в значительной степени новичок в k8s, и это моя игровая площадка. Так что я также открыт для альтернативных решений, если мне не нужно настраивать весь кластер с нуля.

Обновление: С «применением пользовательского Ingress» я означает: kubectl apply -f <myIngress.yaml>

Содержимое myIngress.yaml 

apiVersion: networking.k8s.io/v1beta1
kind: Ingress
metadata:
  name: my-ingress
  annotations:
    nginx.ingress.kubernetes.io/rewrite-target: /
spec:
  rules:
  - http:
      paths:
      - path: /someroute/fittingmyneeds
        pathType: Prefix
        backend:
          serviceName: some-service
          servicePort: 5000

Ответы [ 3 ]

3 голосов
/ 21 июля 2020

Другой вариант, который у вас есть, - полностью удалить Validating Webhook:

kubectl delete -A ValidatingWebhookConfiguration ingress-nginx-admission

Я обнаружил, что мне пришлось сделать это с другой проблемой , но обходной путь / solution здесь тоже работает.

Это не лучший ответ; лучший ответ - выяснить, почему это не работает. Но в какой-то момент вы живете с обходными путями.

Я устанавливаю Docker для Ma c, поэтому я использовал cloud вместо baremetal версии:

kubectl apply -f https://raw.githubusercontent.com/kubernetes/ingress-nginx/controller-v0.34.1/deploy/static/provider/cloud/deploy.yaml

2 голосов
/ 03 июля 2020

Я решил эту проблему. Проблема заключалась в том, что вы используете Kubernetes версии 1.18, но ValidatingWebhookConfiguration в текущем входящем - Nginx использует самый старый API; см. do c: https://kubernetes.io/docs/reference/access-authn-authz/extensible-admission-controllers/#prerequisites

Убедитесь, что кластер Kubernetes как минимум такой же новый, как v1.16 (для использования admissionregistration.k8s.io/v1) , или v1.9 (для использования admissionregistration.k8s.io/v1beta1) .

А в текущем yaml: 

 # Source: ingress-nginx/templates/admission-webhooks/validating-webhook.yaml
    # before changing this value, check the required kubernetes version
    # https://kubernetes.io/docs/reference/access-authn-authz/extensible-admission-controllers/#prerequisites
apiVersion: admissionregistration.k8s.io/v1beta1

и в правилах: 

apiVersions:
          - v1beta1

Значит, вам нужно изменить его на v1: 

apiVersion: admissionregistration.k8s.io/v1

и добавить правило -v1: 

apiVersions:
          - v1beta1
          - v1

После того, как вы измените его и повторно развернете, ваша настраиваемая служба входящего трафика будет успешно развернута

2 голосов
/ 08 мая 2020

Наконец, мне удалось правильно запустить Ingress Nginx, изменив способ установки. Я все еще не понимаю, почему предыдущая установка не сработала, но тем не менее я поделюсь решением вместе с некоторыми подробностями об исходной проблеме.

Решение

Удалить входящий nginx: удалить входящее пространство имен nginx. Это не удаляет проверяющую конфигурацию веб-перехватчика - удалите ее вручную. Затем установите MetalLB и снова установите ingress nginx. Я сейчас использовал версию из стабильного репозитория Helm. Теперь все работает как положено. Спасибо Long на канале kubernetes slack!

Еще немного понимания исходной проблемы

yamls, предоставленные руководством по установке , содержат ValidatingWebHookConfiguration : 

apiVersion: admissionregistration.k8s.io/v1beta1
kind: ValidatingWebhookConfiguration
metadata:
  labels:
    helm.sh/chart: ingress-nginx-2.0.3
    app.kubernetes.io/name: ingress-nginx
    app.kubernetes.io/instance: ingress-nginx
    app.kubernetes.io/version: 0.32.0
    app.kubernetes.io/managed-by: Helm
    app.kubernetes.io/component: admission-webhook
  name: ingress-nginx-admission
  namespace: ingress-nginx
webhooks:
  - name: validate.nginx.ingress.kubernetes.io
    rules:
      - apiGroups:
          - extensions
          - networking.k8s.io
        apiVersions:
          - v1beta1
        operations:
          - CREATE
          - UPDATE
        resources:
          - ingresses
    failurePolicy: Fail
    clientConfig:
      service:
        namespace: ingress-nginx
        name: ingress-nginx-controller-admission
        path: /extensions/v1beta1/ingresses

Проверка выполняется всякий раз, когда я создаю или обновляю входящий трафик (содержимое моего ingress.yaml не имеет значения). Проверка не удалась, потому что при вызове службы ответ является временным перенаправлением. Не знаю почему. Соответствующая служба: 

apiVersion: v1
kind: Service
metadata:
  labels:
    helm.sh/chart: ingress-nginx-2.0.3
    app.kubernetes.io/name: ingress-nginx
    app.kubernetes.io/instance: ingress-nginx
    app.kubernetes.io/version: 0.32.0
    app.kubernetes.io/managed-by: Helm
    app.kubernetes.io/component: controller
  name: ingress-nginx-controller-admission
  namespace: ingress-nginx
spec:
  type: ClusterIP
  ports:
    - name: https-webhook
      port: 443
      targetPort: webhook
  selector:
    app.kubernetes.io/name: ingress-nginx
    app.kubernetes.io/instance: ingress-nginx
    app.kubernetes.io/component: controller

Под, соответствующий селектору, происходит из этого развертывания: 

apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    helm.sh/chart: ingress-nginx-2.0.3
    app.kubernetes.io/name: ingress-nginx
    app.kubernetes.io/instance: ingress-nginx
    app.kubernetes.io/version: 0.32.0
    app.kubernetes.io/managed-by: Helm
    app.kubernetes.io/component: controller
  name: ingress-nginx-controller
  namespace: ingress-nginx
spec:
  selector:
    matchLabels:
      app.kubernetes.io/name: ingress-nginx
      app.kubernetes.io/instance: ingress-nginx
      app.kubernetes.io/component: controller
  revisionHistoryLimit: 10
  minReadySeconds: 0
  template:
    metadata:
      labels:
        app.kubernetes.io/name: ingress-nginx
        app.kubernetes.io/instance: ingress-nginx
        app.kubernetes.io/component: controller
    spec:
      dnsPolicy: ClusterFirst
      containers:
        - name: controller
          image: quay.io/kubernetes-ingress-controller/nginx-ingress-controller:0.32.0
          imagePullPolicy: IfNotPresent
          lifecycle:
            preStop:
              exec:
                command:
                  - /wait-shutdown
          args:
            - /nginx-ingress-controller
            - --election-id=ingress-controller-leader
            - --ingress-class=nginx
            - --configmap=ingress-nginx/ingress-nginx-controller
            - --validating-webhook=:8443
            - --validating-webhook-certificate=/usr/local/certificates/cert
            - --validating-webhook-key=/usr/local/certificates/key
          securityContext:
            capabilities:
              drop:
                - ALL
              add:
                - NET_BIND_SERVICE
            runAsUser: 101
            allowPrivilegeEscalation: true
          env:
            - name: POD_NAME
              valueFrom:
                fieldRef:
                  fieldPath: metadata.name
            - name: POD_NAMESPACE
              valueFrom:
                fieldRef:
                  fieldPath: metadata.namespace
          livenessProbe:
            httpGet:
              path: /healthz
              port: 10254
              scheme: HTTP
            initialDelaySeconds: 10
            periodSeconds: 10
            timeoutSeconds: 1
            successThreshold: 1
            failureThreshold: 3
          readinessProbe:
            httpGet:
              path: /healthz
              port: 10254
              scheme: HTTP
            initialDelaySeconds: 10
            periodSeconds: 10
            timeoutSeconds: 1
            successThreshold: 1
            failureThreshold: 3
          ports:
            - name: http
              containerPort: 80
              protocol: TCP
            - name: https
              containerPort: 443
              protocol: TCP
            - name: webhook
              containerPort: 8443
              protocol: TCP
          volumeMounts:
            - name: webhook-cert
              mountPath: /usr/local/certificates/
              readOnly: true
          resources:
            requests:
              cpu: 100m
              memory: 90Mi
      serviceAccountName: ingress-nginx
      terminationGracePeriodSeconds: 300
      volumes:
        - name: webhook-cert
          secret:
            secretName: ingress-nginx-admission

Что-то в этой цепочке проверки идет не так. Было бы интересно узнать, что и почему, но я могу продолжить работу с моим решением MetalLB. Обратите внимание, что это решение вообще не содержит проверяющего веб-перехватчика.

...