Простой ответ на ваш вопрос - нет, вы не можете сделать это более надежным, не внедрив пользовательскую аутентификацию.
Единственный способ, которым Firefox и Chrome отобразят страницу, указанную вами в директиве ErrorDocument 401, - это нажать кнопку «Отмена». Также нет перенаправления, отправленного с кодом 401 HTTP; скорее это содержимое документа, указанного в директиве ErrorDocument 401. Вы можете сделать перенаправление, используя метатег HTML:
<Location "/protected">
AuthUserFile /path/to/users
AuthName "This is protected area"
AuthGroupFile /dev/null
AuthType Basic
Require valid-user
#ErrorDocument 401 /register.html
ErrorDocument 401 "<html><meta http-equiv=\"refresh\" content=\"0;url=/register.html\"></html>"
</Location>
Возможные решения вашей проблемы - создать пользовательский базовый модуль HTTP-аутентификации или использовать такой язык, как php, который поддерживает базовые хуки HTTP-аутентификации
http://php.net/manual/en/features.http-auth.php