Если вам действительно нужно сделать это без простоев - создайте схему с высокой доступностью, по крайней мере, с 2 репликами каждого вашего ресурса (веб-сервер, сервер БД и т. Д.).
Поэтому, когда вам нужно обновить все - просто отсоедините один веб-сервер и один сервер базы данных от вашего балансировщика нагрузки и обновите их. После того, как вы это сделали - присоедините их и повторите те же шаги с серверами, которые еще не были обновлены.