CephFS не удается смонтировать в Kubernetes

Question

Я установил кластер Ceph и смонтировал вручную с помощью команды sudo mount -t, следуя официальной документации, и проверил состояние моего кластера Ceph - никаких проблем там нет. Сейчас я пытаюсь смонтировать свой CephFS в Kubernetes, но мой модуль застрял в ContainerCreating, когда я запускаю команду kubectl create, потому что не удается смонтировать. Я посмотрел на многие связанные проблемы / решения онлайн, но ничего не работает.

В качестве справки, я следую этому руководству: https://medium.com/velotio-perspectives/an-innovators-guide-to-kubernetes-storage-using-ceph-a4b919f4e469

Моя установка состоит из 5 AWS экземпляров, и они следующие:

Узел 1: Ceph Mon

Узел 2: OSD1 + MDS

Узел 3: OSD2 + K8s Master

Узел 4: OSD3 + K8s Worker1

Узел 5: CephFS + K8s Worker2

Можно ли класть K8 поверх того же экземпляра, что и Ceph? Я почти уверен, что это разрешено, но если это не разрешено, пожалуйста, дайте мне знать.

В описываемых журналах pod это ошибка / предупреждение:

Mounting command: systemd-run
Mounting arguments: --description=Kubernetes transient mount for /root/userone/kubelet/pods/bbf28924-3639-11ea-879d-0a6b51accf30/volumes/kubernetes.io~cephfs/pvc-4777686c-3639-11ea-879d-0a6b51accf30 --scope -- mount -t ceph -o name=kubernetes-dynamic-user-4d05a2df-3639-11ea-b2d3-5a4147fda646,secret=AQC4whxeqQ9ZERADD2nUgxxOktLE1OIGXThBmw== 172.31.15.110:6789:/pvc-volumes/kubernetes/kubernetes-dynamic-pvc-4d05a269-3639-11ea-b2d3-5a4147fda646 /root/userone/kubelet/pods/bbf28924-3639-11ea-879d-0a6b51accf30/volumes/kubernetes.io~cephfs/pvc-4777686c-3639-11ea-879d-0a6b51accf30
Output: Running scope as unit run-2382233.scope.
couldn't finalize options: -34

Это Мои файлы .yaml:

Поставщик:

kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: test-provisioner-dt
  namespace: test-dt
rules:
  - apiGroups: [""]
    resources: ["persistentvolumes"]
    verbs: ["get", "list", "watch", "create", "delete"]
  - apiGroups: [""]
    resources: ["persistentvolumeclaims"]
    verbs: ["get", "list", "watch", "update", "create"]
  - apiGroups: ["storage.k8s.io"]
    resources: ["storageclasses"]
    verbs: ["get", "list", "watch"]
  - apiGroups: [""]
    resources: ["events"]
    verbs: ["create", "update", "patch"]
  - apiGroups: [""]
    resources: ["services"]
    resourceNames: ["kube-dns","coredns"]
    verbs: ["list", "get"]
  - apiGroups: [""]
    resources: ["secrets"]
    verbs: ["create", "get", "delete"]
  - apiGroups: [""]
    resources: ["endpoints"]
    verbs: ["get", "list", "watch", "create", "update", "patch"]
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: test-provisioner-dt
  namespace: test-dt
subjects:
  - kind: ServiceAccount
    name: test-provisioner-dt
    namespace: test-dt
roleRef:
  kind: ClusterRole
  name: test-provisioner-dt
  apiGroup: rbac.authorization.k8s.io
---
apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
  name: test-provisioner-dt
  namespace: test-dt
rules:
  - apiGroups: [""]
    resources: ["secrets"]
    verbs: ["create", "get", "delete"]
  - apiGroups: [""]
    resources: ["endpoints"]
    verbs: ["get", "list", "watch", "create", "update", "patch"]
---

StorageClass:

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: postgres-pv
  namespace: test-dt
provisioner: ceph.com/cephfs
parameters:
  monitors: 172.31.15.110:6789
  adminId: admin
  adminSecretName: ceph-secret-admin-dt
  adminSecretNamespace: test-dt
  claimRoot: /pvc-volumes

PV C:

apiVersion: v1
metadata:
  name: postgres-pvc
  namespace: test-dt
spec:
  storageClassName: postgres-pv
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 2Gi

Вывод kubectl get pv и kubectl get pvc показывают, что тома связаны и заявлены, ошибок нет. Выходные данные журналов модуля поставщика все показывают успех / без ошибок.

Пожалуйста, помогите!