Проблема средней нагрузки / производительности с php-fpm - PullRequest
Новая
       28

Проблема средней нагрузки / производительности с php-fpm

0 голосов

Когда сайт загружен пользователями (около 3000 онлайн), у меня большая ошибка производительности. У меня есть nginx + php-fpm. Когда у меня есть несколько онлайн (~ 3k) PHP сделать большое количество процессов. И тогда Load Average уходит в 200+. Имеют 128 Гб оперативной памяти и 32 ядра. После этого у гривы появляется ошибка 502. Это помогает перезагрузить php-fpm, но ненадолго, процессы снова умножаются, а нагрузка увеличивается.

Пробовал разные дочерние значения php max. 

php.ini :
engine = On
short_open_tag = On
asp_tags = Off
precision = 14
output_buffering = Off
zlib.output_compression = Off
implicit_flush = Off
serialize_precision = 17
expose_php = Off
max_execution_time = 1000
max_input_time = 0
max_input_vars = 10000
error_reporting = E_ERROR
error_reporting = 
display_errors = Off
display_startup_errors = On
log_errors = On
log_errors_max_len = 1024
ignore_repeated_errors = On
ignore_repeated_source = Off
report_memleaks = On
track_errors = On
html_errors = On
error_log = /var/log/php-fpm/php-errors.log
variables_order = "GPCS"
request_order = "GP"
register_argc_argv = Off
auto_globals_jit = On
post_max_size = 100M
default_mimetype = "text/html"
default_charset = "UTF-8"
enable_dl = Off
file_uploads = On
upload_tmp_dir =/tmp/php/uploads
upload_max_filesize = 200M
max_file_uploads = 50
allow_url_fopen = On
allow_url_include = Off
default_socket_timeout = 60000
extension=memcache.so
extension=memcached.so
zend_extension=ioncube_loader_lin_7.1.so
cli_server.color = On
date.timezone = "Europe/Kiev"
SMTP = localhost
smtp_port = 25
sendmail_path="/usr/sbin/sendmail -t -i"
mail.add_x_header = On
mail.log =/var/log/php-fpm/php-mail.log
sql.safe_mode = Off
mysql.allow_local_infile = On
mysql.allow_persistent = On
mysql.cache_size = 2000
mysql.max_persistent = -1
mysql.max_links = -1
mysql.default_port =
mysql.default_socket =
mysql.default_host =
mysql.default_user =
mysql.default_password =
mysql.connect_timeout = 3
mysql.trace_mode = Off
mysqli.max_persistent = -1
mysqli.allow_persistent = On
mysqli.max_links = -1
mysqli.cache_size = 2000
mysqli.default_port = 3306
mysqli.default_socket =
mysqli.default_host =
mysqli.default_user =
mysqli.default_pw =
mysqli.reconnect = Off
mysqlnd.collect_statistics = On
mysqlnd.collect_memory_statistics = On
pgsql.allow_persistent = On
pgsql.auto_reset_persistent = Off
pgsql.max_persistent = -1
pgsql.max_links = -1
pgsql.ignore_notice = 0
pgsql.log_notice = 0
session.save_handler = files
session.save_path = "/tmp/php/sessions"
session.use_cookies = 1
;session.cookie_secure =
session.use_only_cookies = 1
session.name = PHPSESSID
session.auto_start = 0
session.cookie_lifetime = 0
session.cookie_path = /
session.cookie_domain =
session.cookie_httponly =
session.serialize_handler = php
session.gc_probability = 1
session.gc_divisor = 1000
session.gc_maxlifetime = 1440
session.bug_compat_42 = On
session.bug_compat_warn = On
session.referer_check =
session.cache_limiter = nocache
session.cache_expire = 180
session.use_trans_sid = 0
session.hash_function = 0
session.hash_bits_per_character = 5
tidy.clean_output = Off
soap.wsdl_cache_enabled=1
soap.wsdl_cache_dir="/tmp"
soap.wsdl_cache_ttl=86400
soap.wsdl_cache_limit = 5
ldap.max_links = -1

ngix.conf:
worker_processes 32; 
worker_rlimit_nofile 200000; 
load_module "modules/ngx_http_geoip_module.so";

events {
    worker_connections  8000;  
    use epoll;
    multi_accept on;  
}

http {
    ssl_session_cache   shared:SSL:100m;
    ssl_session_timeout 1h;
    include       mime.types;
    default_type  application/octet-stream;
    include /etc/nginx/conf.d/*.conf;
    include /etc/nginx/sites/*;
    server_tokens off;
    sendfile            on;
    keepalive_timeout   65;
    keepalive_requests 1000;  ###
    reset_timedout_connection on;  ###
    open_file_cache max=200000 inactive=20s;  #####
    open_file_cache_valid 30s; ####
    open_file_cache_min_uses 2; ###
    open_file_cache_errors on; ###
    client_body_timeout 10;  ###
    send_timeout 2;  ###
    chunked_transfer_encoding off;
    server_names_hash_max_size 1024;
    server_names_hash_bucket_size 256;
    client_max_body_size 128m;
    proxy_send_timeout 6000;
    proxy_read_timeout 600;
    large_client_header_buffers 16 32k;
    tcp_nodelay on;
    tcp_nopush on;   ####
    include cloudflare;

    #Compression.
    gzip                on;
    gzip_disable "msie6";
    gzip_vary on;
    gzip_proxied any;
    gzip_comp_level 8;
    gzip_buffers 16 8k;
    gzip_http_version 1.1;
    gzip_types text/plain text/css application/json application/x-javascript text/xml application/xml application/xml+rss text/javascript;


}

fpm.conf:
listen = 127.0.0.1:9001
user = website
group = website
request_slowlog_timeout = 3s
listen.allowed_clients = 127.0.0.1
pm = ondemand
pm.max_children = 4000
pm.start_servers = 5
pm.min_spare_servers = 5
pm.process_idle_timeout = 1s
pm.max_requests = 0
listen.backlog = 8193
pm.status_path = /php-status.html
request_terminate_timeout = 90s
rlimit_files = 131072
rlimit_core = unlimited
catch_workers_output = yes
env[HOSTNAME] = $HOSTNAME
env[TMP] = /tmp
env[TMPDIR] = /tmp
env[TEMP] = /tmp
catch_workers_output = yes
php_flag[display_errors] = on
php_admin_value[error_log] = /var/log/fpm-php.www.log
php_admin_flag[log_errors] = on

Может кто-нибудь помочь с conf файлами? Маби, что-то не так. Он был сделан давно, а не мной.

1 Ответ

0 голосов
/ 28 мая 2019

На данный момент ваша проблема не в конфигурации PHP, ИМХО, ваша проблема в масштабируемости.

Вы не упомянули, если ваш сервер полон или не имеет состояния, я полагаю, из-за вашей проблемы, что он полон. Кроме того, вы не объяснили, есть ли у вас кластер серверов с балансировкой нагрузки, но я полагаю, что нет.

Что это значит?

Это означает, что ваш сервер для каждого пользователя пишет файл для хранения своего сеанса в файловой системе сервера. Этот процесс потребляет память и стоит дорого.

Простое математическое вычисление покажет вашу проблему,

Вы сказали, что у вас 128 ГБ ОЗУ и около 3000 пользователей, это означает, что они потребляют всю оперативную память, если ваш предел памяти PHP составляет около 32 МБ на пользователя. Честно говоря, в 2019 году он крайне низкий.

Решения?

Для 3000 пользователей одновременно на одном сервере, вы должны рассмотреть балансировку нагрузки. Балансировка нагрузки позволяет вашему приложению быть сбалансированным между несколькими серверами, в зависимости от трафика. Для начала нужно много настроек и конфигураций, но это выполнимо.

Другое решение - перенести приложение в приложение без сохранения состояния. Означает, что сервер не знает о сеансе пользователей, а аутентификация выполняется с помощью токена (JWT на помощь). Это решение нелегко найти, если ваше приложение большое и требует некоторой работы.

Ссылка , чтобы узнать больше (см. Раздел «Производительность и масштабируемость с сеансами PHP»)

...