Архитектура высокой доступности - это целое поле, и на нем написано несколько книг, поэтому трудно ответить в коротком абзаце.
Чтобы подвести итог идеальной ситуации, вы должны использовать несколько серверов, связанных между собой несколькими распределителями нагрузки. Узлы и LB будут расположены в нескольких разных центрах обработки данных и подключены к разным магистральным сетям. В идеале, дата-центры будут расположены по всему миру.
Короче говоря, все компоненты будут иметь избыточность, включая балансировщики нагрузки.
Для начала см. Википедию для Кластер высокой доступности