В качестве короткого ответа нет; уродливое собственное окно не из Apache, а из вашего браузера.
Когда вы запрашиваете доступ к ресурсу, в основном отвечает ответом со статусом 401 (Не авторизовано); браузер показывает обычный модальный диалог, запрашивая имя пользователя и пароль; как только вы их предоставите, браузер снова попытается добавить заголовок Authentication: с указанным именем пользователя и паролем. Если вы можете авторизоваться, хорошо, в противном случае у вас есть еще 401, и браузер снова запрашивает пароль.