«MongoError: прокси-сервер mongos недоступен» при подключении к набору реплик

Question

Я следую этому уроку (https://github.com/drginm/docker-boilerplates/tree/master/mongodb-replicaset), чтобы получить репликационный набор mongodb из трех экземпляров для работы в docker-compose.

Вот шаги, которые я предпринял до сих пор:

1) Я скопировал папки setup и mongo-rs0-1 в мой корневой каталог.

2) Я добавил три экземпляра Монго и экземпляр установки в мой докер-составить файл.Теперь это выглядит так:

version: '3'

services:
  mongo-rs0-1:
    image: "mongo-start"
    build: ./mongo-rs0-1
    ports:
      - "27017:27017"
    volumes:
      - ./mongo-rs0-1/data:/data/db
    networks:
      - app-network
    depends_on:
      - "mongo-rs0-2"
      - "mongo-rs0-3"
  mongo-rs0-2:
    image: "mongo"
    command: --replSet rs0 --smallfiles --oplogSize 128
    networks:
      - app-network
    ports:
      - "27018:27017"
    volumes:
      - ./mongo-rs0-2/data:/data/db
  mongo-rs0-3:
    image: "mongo"
    command: --replSet rs0 --smallfiles --oplogSize 128
    networks:
      - app-network
    ports:
      - "27019:27017"
    volumes:
      - ./mongo-rs0-3/data:/data/db
  setup-rs:
    image: "setup-rs"
    build: ./setup
    networks:
      - app-network
    depends_on:
      - "mongo-rs0-1"
  nodejs:
    build:
      context: .
      dockerfile: Dockerfile
    ports:
      - "8000:8000"
    container_name: nodejs
    restart: unless-stopped
    networks:
      - app-network
    depends_on:
      - setup-rs
  nextjs:
    build:
      context: ../.
      dockerfile: Dockerfile
    ports:
      - "3000:3000"
    container_name: nextjs
    restart: unless-stopped
    networks:
      - app-network
    depends_on:
      - nodejs
  webserver:
    image: nginx:mainline-alpine
    container_name: webserver
    restart: unless-stopped
    ports:
      - "80:80"
    volumes:
      - ./picFolder:/picFolder
      - web-root:/var/www/html
      - ./nginx-conf:/etc/nginx/conf.d
      - certbot-etc:/etc/letsencrypt
      - certbot-var:/var/lib/letsencrypt
    depends_on:
      - nodejs
      - nextjs
      - setup-rs
    networks:
      - app-network

volumes:
  certbot-etc:
  certbot-var:
  web-root:
    driver: local
    driver_opts:
      type: none
      device: /
      o: bind

networks:
  app-network:
    driver: bridge  

3) Это не требует модификации моего nginx.conf файла, но я добавил его здесь для экономии:

server {
    listen 80;
    listen [::]:80;

    add_header 'Access-Control-Allow-Origin' '*';
    add_header 'Access-Control-Allow-Methods' 'GET, POST, OPTIONS' always;

    root /var/www/html;
    index index.html index.htm index.nginx-debian.html;

    server_name example.com www.example.com localhost;

    location /socket.io {
      proxy_http_version 1.1;
      proxy_set_header Upgrade $http_upgrade;
      proxy_set_header Connection "Upgrade";
      proxy_set_header Host $host;
      proxy_pass http://nodejs:8000/socket.io/;
    }

    location /back { 
      proxy_connect_timeout 75s;
      proxy_read_timeout 75s;
      proxy_send_timeout 75s;
      proxy_http_version 1.1;
      proxy_set_header Upgrade $http_upgrade;
      proxy_set_header Connection 'upgrade';
      proxy_set_header Host $host;
      proxy_cache_bypass $http_upgrade;
      proxy_pass http://nodejs:8000/back/;
    }

    location /staticBack{
      alias /picFolder;
      expires 1y;
      access_log off;
      add_header Cache-Control "public";
    }

    location / {
      proxy_pass http://nextjs:3000;
    }

    location ~ /.well-known/acme-challenge {
      allow all;
      root /var/www/html;
    }
}

4) Наконец, я изменил строку подключения на 'mongodb://mongo-rs0-1,mongo-rs0-2,mongo-rs0-3/test', как показано здесь (https://github.com/drginm/docker-boilerplates/blob/master/mongodb-replicaset/web-site/database.js)

Это все кажется правильным, но мой nodejs выдает следующую ошибку при попытке подключения кMongoose

mongoose.connect("mongodb://mongo-rs0-1,mongo-rs0-2,mongo-rs0-3/test");

MongoDB connection error: { MongoError: no mongos proxy available
    at Timeout.<anonymous> (/var/www/back/node_modules/mongodb-core/lib/topologies/mongos.js:757:28)
    at ontimeout (timers.js:498:11)
    at tryOnTimeout (timers.js:323:5)
    at Timer.listOnTimeout (timers.js:290:5) name: 'MongoError', [Symbol(mongoErrorContextSymbol)]: {} }

Кто-нибудь видит, что происходит? Я пытался найти эту проблему, но похоже, что общий ответчто каким-то образом mongodb просто не «видит» экземпляры. Я немного растерялся, любая помощь будет признательна.

РЕДАКТИРОВАТЬ:

После еще немного копания я нашел это ТАК ( Соединение Mongoose с набором реплик ) и обнаружил, что файл mongo.conf (https://github.com/drginm/docker-boilerplates/blob/master/mongodb-replicaset/mongo-rs0-1/mongo.conf), по-видимому, говорит, что имя набора реплик rs0. Теперь я подключаюсь с:

mongoose.connect("mongodb://mongo-rs0-1,mongo-rs0-2,mongo-rs0-3/test?replicaSet=rs0");

Однако я все еще получаю следующую ошибку (по крайней мере, другую!):

MongoDB connection error: { MongoError: no primary found in replicaset or invalid replica set name
    at /var/www/back/node_modules/mongodb-core/lib/topologies/replset.js:636:11
    at Server.<anonymous> (/var/www/back/node_modules/mongodb-core/lib/topologies/replset.js:357:9)
    at Object.onceWrapper (events.js:315:30)
    at emitOne (events.js:116:13)
    at Server.emit (events.js:211:7)
    at /var/www/back/node_modules/mongodb-core/lib/topologies/server.js:508:16
    at /var/www/back/node_modules/mongodb-core/lib/connection/pool.js:532:18
    at _combinedTickCallback (internal/process/next_tick.js:132:7)
    at process._tickCallback (internal/process/next_tick.js:181:9) name: 'MongoError', [Symbol(mongoErrorContextSymbol)]: {} }

I'm pретти уверен, что имя набора реплик теперь корректно, но я думаю, может быть, мне нужно указать, какой из них является основным?Однако это SO (https://dba.stackexchange.com/questions/136621/how-to-set-a-mongodb-node-to-return-as-the-primary-of-a-replication-set), по-видимому, подразумевает, что это должно происходить автоматически. Любая помощь по-прежнему ценится.

РЕДАКТИРОВАТЬ РЕДАКТИРОВАТЬ:

Дальнейшие исследования обнаружили этот пост SO (Соединение Mongoose с набором реплик ). Учитывая более новый v5 mongodb, следующие опции подключения теперь кажутся лучшими:

var options = {
  native_parser: true,
  auto_reconnect: false,
  poolSize: 10,
  connectWithNoPrimary: true,
  sslValidate: false,
  socketOptions: {
      keepAlive: 1000,
      connectTimeoutMS: 30000
  }
};

mongoose.connect("mongodb://mongo-rs0-1:27017,mongo-rs0-2:27017,mongo-rs0-3:27017/test?replicaSet=rs0", options);

connectWithNoPrimary: true кажется особенно важным, как будто для nodejs задано условие гонки.при загрузке сервисов mongo из Docker они, возможно, еще не выбрали основной.

Тем не менее, я все еще получаю следующую ошибку (опять-таки, немного отличную):

MongoDB connection error: { MongoError: no secondary found in replicaset or invalid replica set name
    at /var/www/back/node_modules/mongodb-core/lib/topologies/replset.js:649:11
    at Server.<anonymous> (/var/www/back/node_modules/mongodb-core/lib/topologies/replset.js:357:9)
    at Object.onceWrapper (events.js:315:30)
    at emitOne (events.js:116:13)
    at Server.emit (events.js:211:7)
    at /var/www/back/node_modules/mongodb-core/lib/topologies/server.js:508:16
    at /var/www/back/node_modules/mongodb-core/lib/connection/pool.js:532:18
    at _combinedTickCallback (internal/process/next_tick.js:132:7)
    at process._tickCallback (internal/process/next_tick.js:181:9) name: 'MongoError', [Symbol(mongoErrorContextSymbol)]: {} }

Так что теперь этоне удается найти набор вторичных реплик. Добавление connectwithnosecondary ничего не делает и приводит к той же ошибке - я не думаю, что это допустимый параметр. Все еще застрял, любая помощь будет оценена.

РЕДАКТИРОВАТЬ РЕДАКТИРОВАТЬРЕДАКТИРОВАТЬ:

Я изменил мою функцию подключения к nodejs, чтобы существовать в обратном вызове регресса при ошибке. Я надеялся, что это будет просто продолжать пытаться подключиться, пока какой-либо потенциалСостояние гонки в docker-compose было решено, и я смог подключиться успешно.Тем не менее, я продолжаю получать вышеуказанную ошибку MongoError: no secondary found in replicaset or invalid replica set name.Поэтому я больше не думаю, что проблема в состоянии гонки на соединении - по крайней мере, это не похоже на текущую ошибку.

  var options = {
    native_parser: true,
    auto_reconnect: false,
    poolSize: 10,
    connectWithNoPrimary: true,
    sslValidate: false
  };

  // mongoose.connect("mongodb://mongo-rs0-1,mongo-rs0-2,mongo-rs0-3/?replicaSet=rs0", {  useNewUrlParser: true, connectWithNoPrimary: true });
  const connectFunc = () => {
    mongoose.connect("mongodb://mongo-rs0-1:27017,mongo-rs0-2:27017,mongo-rs0-3:27017/test?replicaSet=rs0", options);
    mongoose.Promise = global.Promise;
    var db = mongoose.connection;
    db.on('error', (error)=>{
      console.log('MongoDB connection error:', error)
      console.log('now calling connectFunc() again');
      connectFunc()
    });
    db.once('open', function() {
      // we're connected!
      console.log('connected to mongoose db')
    });

  }

  connectFunc()

РЕДАКТИРОВАТЬ x4:

Вот еще один пример учебникачто я получил ту же ошибку с: https://gist.github.com/patientplatypus/e48e6efdcc9f0f1aa551cc8342d0f2f3. Теперь я наполовину убежден, что это может быть ошибка с automattic / mongoose, поэтому я открыл отчет об ошибке, который можно посмотреть здесь: https://github.com/Automattic/mongoose/issues/7705. Это может быть связано с этой давней проблемой, которая была подана в 2016 году: https://github.com/Automattic/mongoose/issues/4596.

EDIT x5:

Вот вывод журнала для одного из контейнеров mongo:

patientplatypus:~/Documents/patientplatypus.com/forum/back:19:47:11$docker ps
CONTAINER ID        IMAGE                   COMMAND                  CREATED             STATUS              PORTS                      NAMES
d46cfb5e1927        nginx:mainline-alpine   "nginx -g 'daemon of…"   3 minutes ago       Up 3 minutes        0.0.0.0:80->80/tcp         webserver
6798fe1f6093        back_nextjs             "npm start"              3 minutes ago       Up 3 minutes        0.0.0.0:3000->3000/tcp     nextjs
ab6888f703c7        back_nodejs             "/docker-entrypoint.…"   3 minutes ago       Up 3 minutes        0.0.0.0:8000->8000/tcp     nodejs
48131a82b34e        mongo-start             "docker-entrypoint.s…"   3 minutes ago       Up 3 minutes        0.0.0.0:27017->27017/tcp   mongo1
312772b1b0f1        mongo                   "docker-entrypoint.s…"   3 minutes ago       Up 3 minutes        0.0.0.0:27019->27017/tcp   mongo3
9fe9a16eb20e        mongo                   "docker-entrypoint.s…"   3 minutes ago       Up 3 minutes        0.0.0.0:27018->27017/tcp   mongo2
patientplatypus:~/Documents/patientplatypus.com/forum/back:19:48:55$docker logs 9fe9a16eb20e
2019-04-12T00:45:29.689+0000 I CONTROL  [main] Automatically disabling TLS 1.0, to force-enable TLS 1.0 specify --sslDisabledProtocols 'none'
2019-04-12T00:45:29.727+0000 I CONTROL  [initandlisten] MongoDB starting : pid=1 port=27017 dbpath=/data/db 64-bit host=9fe9a16eb20e
2019-04-12T00:45:29.728+0000 I CONTROL  [initandlisten] db version v4.0.8
2019-04-12T00:45:29.728+0000 I CONTROL  [initandlisten] git version: 9b00696ed75f65e1ebc8d635593bed79b290cfbb
2019-04-12T00:45:29.728+0000 I CONTROL  [initandlisten] OpenSSL version: OpenSSL 1.0.2g  1 Mar 2016
2019-04-12T00:45:29.728+0000 I CONTROL  [initandlisten] allocator: tcmalloc
2019-04-12T00:45:29.728+0000 I CONTROL  [initandlisten] modules: none
2019-04-12T00:45:29.729+0000 I CONTROL  [initandlisten] build environment:
2019-04-12T00:45:29.729+0000 I CONTROL  [initandlisten]     distmod: ubuntu1604
2019-04-12T00:45:29.729+0000 I CONTROL  [initandlisten]     distarch: x86_64
2019-04-12T00:45:29.729+0000 I CONTROL  [initandlisten]     target_arch: x86_64
2019-04-12T00:45:29.729+0000 I CONTROL  [initandlisten] options: { net: { bindIpAll: true }, replication: { oplogSizeMB: 128, replSet: "rs" }, storage: { mmapv1: { smallFiles: true } } }
2019-04-12T00:45:29.734+0000 W STORAGE  [initandlisten] Detected unclean shutdown - /data/db/mongod.lock is not empty.
2019-04-12T00:45:29.738+0000 I STORAGE  [initandlisten] Detected data files in /data/db created by the 'wiredTiger' storage engine, so setting the active storage engine to 'wiredTiger'.
2019-04-12T00:45:29.741+0000 W STORAGE  [initandlisten] Recovering data from the last clean checkpoint.
2019-04-12T00:45:29.742+0000 I STORAGE  [initandlisten] wiredtiger_open config: create,cache_size=1461M,session_max=20000,eviction=(threads_min=4,threads_max=4),config_base=false,statistics=(fast),log=(enabled=true,archive=true,path=journal,compressor=snappy),file_manager=(close_idle_time=100000),statistics_log=(wait=0),verbose=(recovery_progress),
2019-04-12T00:45:43.165+0000 I STORAGE  [initandlisten] WiredTiger message [1555029943:165420][1:0x7f7051ca9a40], txn-recover: Main recovery loop: starting at 7/4608 to 8/256
2019-04-12T00:45:43.214+0000 I STORAGE  [initandlisten] WiredTiger message [1555029943:214706][1:0x7f7051ca9a40], txn-recover: Recovering log 7 through 8
2019-04-12T00:45:43.787+0000 I STORAGE  [initandlisten] WiredTiger message [1555029943:787329][1:0x7f7051ca9a40], txn-recover: Recovering log 8 through 8
2019-04-12T00:45:43.849+0000 I STORAGE  [initandlisten] WiredTiger message [1555029943:849811][1:0x7f7051ca9a40], txn-recover: Set global recovery timestamp: 0
2019-04-12T00:45:43.892+0000 I RECOVERY [initandlisten] WiredTiger recoveryTimestamp. Ts: Timestamp(0, 0)
2019-04-12T00:45:43.972+0000 W STORAGE  [initandlisten] Detected configuration for non-active storage engine mmapv1 when current storage engine is wiredTiger
2019-04-12T00:45:43.972+0000 I CONTROL  [initandlisten] 
2019-04-12T00:45:43.972+0000 I CONTROL  [initandlisten] ** WARNING: Access control is not enabled for the database.
2019-04-12T00:45:43.972+0000 I CONTROL  [initandlisten] **          Read and write access to data and configuration is unrestricted.
2019-04-12T00:45:43.973+0000 I CONTROL  [initandlisten] 
2019-04-12T00:45:44.035+0000 I FTDC     [initandlisten] Initializing full-time diagnostic data capture with directory '/data/db/diagnostic.data'
2019-04-12T00:45:44.054+0000 I REPL     [initandlisten] Did not find local voted for document at startup.
2019-04-12T00:45:44.064+0000 I REPL     [initandlisten] Rollback ID is 1
2019-04-12T00:45:44.064+0000 I REPL     [initandlisten] Did not find local replica set configuration document at startup;  NoMatchingDocument: Did not find replica set configuration document in local.system.replset
2019-04-12T00:45:44.065+0000 I CONTROL  [LogicalSessionCacheRefresh] Sessions collection is not set up; waiting until next sessions refresh interval: Replication has not yet been configured
2019-04-12T00:45:44.065+0000 I NETWORK  [initandlisten] waiting for connections on port 27017
2019-04-12T00:45:44.069+0000 I CONTROL  [LogicalSessionCacheReap] Sessions collection is not set up; waiting until next sessions reap interval: config.system.sessions does not exist
2019-04-12T00:45:45.080+0000 I FTDC     [ftdc] Unclean full-time diagnostic data capture shutdown detected, found interim file, some metrics may have been lost. OK

Эта строка, в частности

Did not find local replica set configuration document at startup; NoMatchingDocument: Did not find replica set configuration document in local.system.replset

выглядит тревожно, и мне придется продолжать ее изучать.Если кто-нибудь что-то увидит, пожалуйста, дайте мне знать.

EDITx6

Итак, я выполняю docker exec'd в одну из реплик mongo и вывожу rs.status ().Я использовал docker exec -it mongo1 mongo, а затем rs.status() и получил следующий вывод:

{
    "operationTime" : Timestamp(0, 0),
    "ok" : 0,
    "errmsg" : "no replset config has been received",
    "code" : 94,
    "codeName" : "NotYetInitialized",
    "$clusterTime" : {
        "clusterTime" : Timestamp(0, 0),
        "signature" : {
            "hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
            "keyId" : NumberLong(0)
        }
    }
}

Это похоже на ошибку в журнале реплик mongodb выше (2019-04-12T00:45:44.064+0000 I REPL [initandlisten] Did not find local replica set configuration document at startup; NoMatchingDocument: Did not find replica set configuration document in local.system.replset).Кто-нибудь знает, что, по его мнению, не хватает?

Answer 1

Вам нужно инициализировать набор реплик, чтобы иметь доступ к нему.Без этого приложения не смогут подключаться к вашим локальным экземплярам.

В идеале необходимо добавить некоторое время между конфигурацией набора реплик (шаг setup-rs) и следующей, как репликойустановка конфигурации может занять больше времени, чем время запуска приложения.

Или исправить скрипт, если сам скрипт неисправен.

Answer 2

У меня была похожая проблема.Я постоянно получал сообщение об ошибке «MongoError: прокси-сервер mongos недоступен».Наконец мне удалось решить это следующим образом:

// The mongoose connection options
let options = {
  ssl: true,
  sslValidate: true,
  poolSize: 1,
  reconnectTries: 1,
  useNewUrlParser: true,
  dbName: 'myDb' // Specify the database here
}

И моя строка подключения выглядит примерно так:

mongodb://<usr>:<pass>@host1.com:12345,host2.com:12346/adminDb?authSource=admin&ssl=true

Я оставил административную базу данных по умолчанию в строке подключения и вместо этого определилБД, к которой я хотел подключиться в опциях.Это решило проблему.