Настройка Redis Master / Slave при сбрасывании Kubernetes: BRPOPLPUSH {ReplyError: MOVED 2651 - PullRequest
Новая
       49

Настройка Redis Master / Slave при сбрасывании Kubernetes: BRPOPLPUSH {ReplyError: MOVED 2651

5 голосов
/ 15 мая 2019

Я использую превосходную Bull.js на базе Redis в качестве очереди на работу в Kubernetes.

Он настроен как кластер:

enter image description here

Когда Kubernetes перезапускается после развертываний, я сталкиваюсь со следующей ошибкой: 

BRPOPLPUSH { ReplyError: MOVED 2651 <IP_ADDRESS>:6379
at parseError (/usr/src/app/node_modules/ioredis/node_modules/redis-parser/lib/parser.js:179:12)
at parseType (/usr/src/app/node_modules/ioredis/node_modules/redis-parser/lib/parser.js:302:14)
command:
{ name: 'brpoplpush',
args:
[ '{slack}:slack notifications:wait',
'{slack}:slack notifications:active',
'5' ] } }

Где <IP_ADDRESS>, я думаю IP кластера? Я не настраивал это, но я пытаюсь отладить это. Я хочу знать, нужно ли мне включить кластерный режим для Bull.js или это проблема конфигурации вне проекта Bull.js?

Или это проблема с сетью K8s?

Будет ли решение: https://github.com/OptimalBits/bull#cluster-support решением? Это правильный подход?

Вот мой код: 

import Queue from 'bull';
import config from 'config';
import { run as slackRun } from './tasks/send-slack-message';
import { run as emailRun } from './tasks/send-email';

const redisConfig = {
  redis: {
    host: config.redis.host,
    port: config.redis.port
  }
};

const slackQueue = new Queue('slack notifications', { ...redisConfig, ...{ prefix: '{slack}' } });
const emailQueue = new Queue('email notifications', { ...redisConfig, ...{ prefix: '{email}' } });

slackQueue.process(slackRun);
emailQueue.process(emailRun);

emailQueue.on('completed', (job, result) => {
  job.remove();
});

export { emailQueue, slackQueue };

import { emailQueue, slackQueue } from 'worker/worker';

const queueOptions = {
  attempts: 2,
  removeOnComplete: true,
  backoff: {
    type: 'exponential',
    delay: 60 * 1000
  }
};

emailQueue.add(
  {
    params: {
      from: email,
      fromname: name,
      text: body
    }
  },
  queueOptions
);
slackQueue.add(
  {
    channelId: SLACK_CHANNELS.FEEDBACK,
    attachments: [
      {
        text: req.body.body
      }
    ]
  },
  queueOptions
);

Это карта конфигурации: 

Name:         redis-cluster-config
Namespace:    default
Labels:       <none>
Annotations:  <none>

Data
====
update-node.sh:
----
#!/bin/sh
REDIS_NODES="/data/nodes.conf"
sed -i -e "/myself/ s/[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}/${POD_IP}/" ${REDIS_NODES}
exec "$@"

redis.conf:
----
cluster-enabled yes
cluster-require-full-coverage no
cluster-node-timeout 15000
cluster-config-file nodes.conf
cluster-migration-barrier 1
appendonly yes
# Other cluster members need to be able to connect
protected-mode no

Events:  <none>

1 Ответ

3 голосов
/ 20 мая 2019

Hitobat прав, хотя.

Если это не поможет: 

const Redis = require('ioredis');
...
const ioCluster = new Redis.Cluster([redisConfig.redis]);
const slackQueue = new Queue('slack notifications', {
  prefix: '{slack}' ,
  createClient: () => ioCluster
});
const emailQueue = new Queue('email notifications', {
  prefix: '{email}' ,
  createClient: () => ioCluster
});

Я бы пошел без ioredis или попытался бы понизить Redis Engine до 4.х.

...