Redis Sentinel аварийного переключения не происходит в Docker Swarm - PullRequest
Новая
       31

Redis Sentinel аварийного переключения не происходит в Docker Swarm

0 голосов
/ 04 июля 2019

Я пытался настроить redis в дозорном режиме, используя файл docker-compose.Ниже приведено содержимое моего составного файла - 

version: '3.3'
services:
  redis-master:
    image: redis:latest
    deploy:
      replicas: 1
    networks:
      - Overlay_Network

  redis-slave:
    image: redis:latest
    command: redis-server --slaveof redis-master 6379
    depends_on:
      - redis-master
    deploy:
      replicas: 2
    networks:
      - Overlay_Network

  sentinel:
    image: sentinel:latest
    environment:
      - SENTINEL_DOWN_AFTER=5000
      - SENTINEL_FAILOVER=5000
      - REDIS_MASTER=redis-master
    depends_on:
      - redis-master
      - redis-slave
    deploy:
      replicas: 3
    networks:
      - Overlay_Network

networks:
 Overlay_Network:
    external:
      name: Overlay_Network

Здесь я создаю три службы redis-master, redis-slave и sentinel (используется локальный образ докера, который запускает redis в режиме sentinel на основе переданных переменных env),Я следовал за этим для создания сторожевого образа https://gitlab.ethz.ch/amiv/redis-cluster/tree/master

Когда я использую docker-compose для запуска сервисов.Работает нормально. 

docker-compose -f docker-compose.yml up -d

Запускает все сервисы с одного экземпляра каждого.Позже я вручную масштабирую redis-slave до 2 экземпляров, а часовой до 3.Затем, когда я останавливаю контейнер для redis-master, страж замечает его и делает один из подчиненных узлов ведущим.Он работает, как и ожидалось.

Проблема возникает, когда я запускаю его в режиме роя с помощью команды развертывания docker stack, используя тот же файл compose. 

docker stack deploy -c docker-compose.yml <stack-name>

Запускает все службы, 1 экземплярдля redis-master, 2 для redis-slave и 3 для дозорного.Он использует оверлейную сеть.Когда я останавливаю контейнер для redis-master, sentinel не может обновить ни один из подчиненных узлов в режиме master.Кажется, страж не смог добавить и заметить подчиненные узлы.Он добавляет, а затем показывает в выключенном состоянии.Вот фрагмент из лог-файла дозорного. 

1:X 04 Jul 2019 14:31:36.465 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
1:X 04 Jul 2019 14:31:36.465 # Redis version=5.0.5, bits=64, commit=00000000, modified=0, pid=1, just started
1:X 04 Jul 2019 14:31:36.465 # Configuration loaded
1:X 04 Jul 2019 14:31:36.466 * Running mode=sentinel, port=26379.
1:X 04 Jul 2019 14:31:36.466 # WARNING: The TCP backlog setting of 511 cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower value of 128.
1:X 04 Jul 2019 14:31:36.468 # Sentinel ID is e84a635f6cf4c0ee4454922a557a7c0fba00fadd
1:X 04 Jul 2019 14:31:36.468 # +monitor master mymaster 10.0.22.123 6379 quorum 2
1:X 04 Jul 2019 14:31:36.469 * +slave slave 10.0.22.125:6379 10.0.22.125 6379 @ mymaster 10.0.22.123 6379
1:X 04 Jul 2019 14:31:38.423 * +sentinel sentinel f92b9499bff409558a2eb985ef949dfc7050c528 10.0.22.130 26379 @ mymaster 10.0.22.123 6379
1:X 04 Jul 2019 14:31:38.498 * +sentinel sentinel 6e32d6bfea4142a0bc77a74efdfd24424cbe026b 10.0.22.131 26379 @ mymaster 10.0.22.123 6379
1:X 04 Jul 2019 14:31:41.538 # +sdown slave 10.0.22.125:6379 10.0.22.125 6379 @ mymaster 10.0.22.123 6379

Я подумал, что это может быть связано с порядком запуска контейнеров.Но поле disabled_on недопустимо для стекового режима, и я не смог найти какой-либо другой способ определить порядок запуска в стековом режиме.

Когда я проверяю сеть Docker для оверлейной сети, здесь выводится 

"Containers": {
    "57b7620ef75956464ce274e66e60c9cb5a9d8b79486c5b80016db4482126916b": {
        "Name": "sws_sentinel.3.y8sdpj8609ilq22xinzykbxkm",
        "EndpointID": "a95ab07b07c68a32227be3b5da4d378b82f24aab4279bfaa13899a2a7184ce09",
        "MacAddress": "02:42:0a:00:16:84",
        "IPv4Address": "10.0.22.132/24",
        "IPv6Address": ""
    },
    "982222f1b87e1483ec791f382678ef02abcdffe74a5df13a0c0476f7f3a599a7": {
        "Name": "sws_redis-slave.1.uxwkndhkdnizyicwulzli964r",
        "EndpointID": "f5f8fa056622b1529351355c3760c3f45357c7b3de3fe4d2ee90e2d490328f2a",
        "MacAddress": "02:42:0a:00:16:80",
        "IPv4Address": "10.0.22.128/24",
        "IPv6Address": ""
    },
    "c55376217215a1c11b62ac9d22d28eaa1bcda89484a0202b208e557feea4dd35": {
        "Name": "sws_redis-slave.2.s8ha5xmvx6sue2pj6fav8bcbx",
        "EndpointID": "6dcb13e23a8b4c0b49d7dc41e5813b317b8d67377ac30a476261108b8cdeb3f8",
        "MacAddress": "02:42:0a:00:16:7f",
        "IPv4Address": "10.0.22.127/24",
        "IPv6Address": ""
    },
    "cd6d72547ef3fb34ece45ad0201555124505379182f7445373025e1b9a115554": {
        "Name": "sws_redis-master.1.3rhfihzqip2a44xq2uerhqkjt",
        "EndpointID": "9074f9c911e03de0f27e4fb6b75afdf6bb38a111a511738451feb5e64c8dbff3",
        "MacAddress": "02:42:0a:00:16:7c",
        "IPv4Address": "10.0.22.124/24",
        "IPv6Address": ""
    },
    "lb-SA_Monitor_Overlay": {
        "Name": "SA_Monitor_Overlay-endpoint",
        "EndpointID": "2fb84ac75f5eee015b80b55713da83d1afb7dfa7ed4c1f5eda170f4b8daf8884",
        "MacAddress": "02:42:0a:00:16:7d",
        "IPv4Address": "10.0.22.125/24",
        "IPv6Address": ""
    }
}

Здесь я вижу, что подчиненные работают на ip 10.0.22.128 и 10.0.22.127, но в файле журнала стража пытается добавить ведомое устройство, используя ip 10.0.22.125.Это почему?Может ли это быть проблемой?

Дайте мне знать, если потребуется дополнительная информация.

1 Ответ

0 голосов
/ 11 июля 2019

Я пришел к выводу, что это происходит из-за балансировки нагрузки по умолчанию в Docker Swarm. Страж получает информацию о рабах от главного узла. Но ведомые не регистрируются с их фактическим IP-адресом в сети докера. Вроде бы IP с балансировкой нагрузки. Таким образом, стражу не удалось связаться с рабами с помощью этого IP-адреса, и это показывает, что раб не работает.

Они также упомянули это на своей странице документации

https://redis.io/topics/replication [Настройка репликации в Docker и NAT]

https://redis.io/topics/sentinel [Sentinel, Docker, NAT и возможные проблемы]

В качестве решения этой проблемы я создал свой собственный файл Dockerfile для запуска узлов Redis-Slave. Он использует redis.conf и скрипт entrypoint.sh. В entrypoint.sh я получаю реальный IP-адрес контейнера и записываю его в redis.conf и, как последний шаг, запускаю redis-сервер, используя этот обновленный redis.conf. 

slave-announce-ip <CONTAINER_IP_ADDRESS>
slave-announce-port 6379

Вы также можете сделать аналогичные шаги для дозорных узлов.

Теперь подчиненные будут регистрироваться с использованием своего реального IP-адреса, порт и страж могут с ними общаться.

...