Ceph Luminous, что я скучаю? - PullRequest
Новая
       38

Ceph Luminous, что я скучаю?

1 голос
/ 12 апреля 2020

С предыдущим выпуском Jewel у меня проблем не было. Я создал тестовый кластер из 5 vms, все с Centos 7 и выпуском Ceph Nautilus. 1 vm - монитор, 3 - OSD и 1 - admin-mgr. Развертывание кластера в порядке, состояние в порядке, но после создания MDS и пулов ... 

ceph -s
  cluster:
    id:     87c90336-38bc-4ec2-bcde-2629e1e7b12f
    health: HEALTH_WARN
            Reduced data availability: 42 pgs inactive, 43 pgs peering

  services:
    mon: 1 daemons, quorum ceph1-mon (age 8m)
    mgr: ceph1-admin(active, since 8m)
    mds: cephfs:1 {0=ceph1-osd=up:active} 1 up:standby
    osd: 3 osds: 3 up (since 7m), 3 in (since 20h)

  data:
    pools:   2 pools, 128 pgs
    objects: 18 objects, 2.6 KiB
    usage:   2.1 GiB used, 78 GiB / 80 GiB avail
    pgs:     32.812% pgs unknown
             67.188% pgs not active
             86 peering
             42 unknown

Проверка состояния .. 

ceph health detail 
HEALTH_WARN Reduced data availability: 42 pgs inactive, 43 pgs peering
PG_AVAILABILITY Reduced data availability: 42 pgs inactive, 43 pgs peering
    pg 9.0 is stuck peering for 254.671721, current state peering, last acting [0,1,2]
    pg 9.1 is stuck peering for 254.671732, current state peering, last acting [0,2,1]
    pg 9.4 is stuck peering for 254.670850, current state peering, last acting [0,1,2]
    pg 9.5 is stuck inactive for 234.575775, current state unknown, last acting []
    pg 9.7 is stuck inactive for 234.575775, current state unknown, last acting []
    pg 9.8 is stuck inactive for 234.575775, current state unknown, last acting []

Вывод действительно длинный , Многие PG неактивны или находятся в режиме пиринга. Я использовал эту конфигурацию: 

#ceph.conf
[global]
fsid = 87c90336-38bc-4ec2-bcde-2629e1e7b12f
mon_initial_members = ceph1-mon
mon_host = 10.2.0.117
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx
mon_allow_pool_delete = true
mon_max_pg_per_osd = 128
osd max pg per osd hard ratio = 10 # < default is 2, try to set at least 5. It will be

Я создал OSD с этими командами: 

ceph-deploy --overwrite-conf osd create --data /dev/vdb ceph1-osd
ceph-deploy --overwrite-conf osd create --data /dev/vdb ceph2-osd
ceph-deploy --overwrite-conf osd create --data /dev/vdb ceph3-osd

Я создал MDS с этими командами: 

ceph-deploy mds create ceph1-osd
ceph-deploy mds create ceph2-osd
ceph-deploy mds create ceph3-osd

Для пулов и файловой системы я использовал следующие команды: 

ceph osd pool create cephfs_data 64
ceph osd pool create cephfs_metadata 64
ceph fs new cephfs cephfs_metadata cephfs_data

Что не так?

1 Ответ

0 голосов
/ 14 апреля 2020

В большинстве случаев такие пиринговые / неизвестные PG связаны с проблемами подключения. Могут ли мониторы и OSD связаться друг с другом? Может ли быть проблема с брандмауэром или какая-то грязная маршрутизация, вызывающая проблемы?

Кроме того, журналы OSD и монитора также стоит проверить. Есть ли ошибки в журналах (скорее всего)?

Проверка всего этого поможет вам решить вашу проблему.

См. Также Руководство по устранению неполадок Ceph .

...