Существует несколько решений этой "проблемы".
Вы можете циклически перебирать на уровне DNS. То есть у www.yourdomain.com есть несколько IP-адресов (все ваши серверы).
Это не даст вам никаких сведений о балансировке нагрузки, но нагрузка будет более или менее случайным образом распределена, но вы не будете устойчивы к аппаратным сбоям, поскольку они все равно потребуют изменений в DNS.
С другой стороны, вы можете использовать прокси-сервер или прокси-сервер с балансировкой нагрузки, который имеет один IP-адрес, но затем распределяет трафик по нескольким внутренним серверам. Это дает вам единственную точку отказа (прокси-сервер, конечно, вы можете иметь несколько прокси-серверов для решения этой проблемы), а также даст вам дополнительный бонус за возможность использовать некоторую метрику для более равномерного и интеллектуального распределения нагрузки, чем просто круговой днс.
Эта настройка также может легко справляться с аппаратными сбоями в серверной части. Конечный пользователь никогда не видит серверную часть, только интерфейсную.
Есть и другие проблемы, о которых следует подумать: если ваша страница использует сеансы или другую интеллектуальную логику, вы можете столкнуться с проблемами синхронизации, когда ваш пользователь (потенциально) обращается к разным серверам при каждом доступе.