Слишком много открытых файлов при использовании nginx + tornado для обработки 5000 соединений через веб-сокет - PullRequest
Новая
       13

Слишком много открытых файлов при использовании nginx + tornado для обработки 5000 соединений через веб-сокет

0 голосов
/ 14 апреля 2019

Я тестирую свой сервер шлюза торнадо, который хорошо обрабатывает 5000 соединений без nginx.Затем я добавляю nginx и запускаю 2 сервера для обработки 5000 соединений.К сожалению [Errno 24] Too many open files происходят.

Я уже изменил kern.maxfiles и kern.maxfilesperproc в /etc/sysctl.conf, поэтому мой сервер хорошо обработал 5000 соединений без nginx. 

kern.maxfiles=104000
kern.maxfilesperproc=100000

После того, как [Errno 24] произошло,Я уже изменил worker_rlimit_nofile на более чем 10000 и перезапустил nginx, но ошибка все еще произошла, и я сейчас сбиваю с толку ...

Вот моя конфигурация nginx в nginx.conf. 

worker_processes 5;
worker_rlimit_nofile 10240;

error_log /var/log/nginx/error.log;
pid /var/run/nginx.pid;

events {
    worker_connections 2048;
    use kqueue;
}

http {
    #charset utf-8;

    map $http_upgrade $connection_upgrade {
        default upgrade;
        '' close;
    }

    # Enumerate all the Tornado servers here
    upstream websocket {
        server 127.0.0.1:60000;
        server 127.0.0.1:60001;
    }

    include mime.types;
    default_type application/octet-stream;

    access_log /var/log/nginx/access.log;

    keepalive_timeout 65;
    proxy_read_timeout 200;
    sendfile on;
    tcp_nopush on;
    tcp_nodelay on;
    gzip on;
    gzip_min_length 1000;
    gzip_proxied any;
    gzip_types text/plain text/css text/xml
               application/x-javascript application/xml
               application/atom+xml text/javascript;

    # Only retry if there was a communication error, not a timeout
    # on the Tornado server (to avoid propagating "queries of death"
    # to all frontends)
    proxy_next_upstream error;

    server {
        listen 60017;

        location ^~ /static/ {
            root /path/to/app;
            if ($query_string) {
                expires max;
            }
        }

        location / {
            proxy_pass http://websocket;
            proxy_http_version 1.1;
            proxy_set_header Upgrade $http_upgrade;
            proxy_set_header Connection $connection_upgrade;
    }
    }
}

Я ожидаю, что соединения будут отправлены на мои серверы торнадо и будут работать нормально.Но ошибка возникает примерно при 1000 соединениях ...

Я понятия не имею, как ее исправить, было бы полезно получить некоторую помощь.Большое спасибо!

1 Ответ

1 голос
/ 15 апреля 2019

Проверка ограничения на количество открытых файлов с помощью ulimit (ulimit -n работает только в текущем сеансе): 

root# ulimit -a | grep "open files"
open files                      (-n) 1024
root# ulimit -n 5000
root# ulimit -a | grep "open files"
open files                      (-n) 5000

Пример установки ограничения на количество открытых файлов равным 5000 только для пользователя root, но после этого исправления требуется перезагрузка (не забудьте заменить пользователя root пользователем web): 

echo -e "root\t\t-\tnofile\t\t 5000" >> /etc/security/limits.conf
...