если вы ответите подходящим кодом статуса HTTP 4xx (но не HTTP 410 или HTTP 404), то да, аутентификация HTTP не позволит Google проиндексировать эту страницу.
см .: http://www.google.com/support/webmasters/bin/answer.py?answer=40132
дополнительно вы можете отправить HTTP-заголовок
X-Robots-Tag: noindex
, чтобы убедиться в этом.
см .: http://code.google.com/web/controlcrawlindex/docs/robots_meta_tag.html
о да, включение URL в robots.txt делает еще более вероятным, что Google индексирует страницу .... robots.txt - это директива для сканирования, это в основном говорит: не выбирайте содержание этого URL.так что Google не знает, что это HTTP-аутентификация, но так как сканирование является необязательным для индексации (да, действительно), URL-адрес может (и это очень большая сила) в любом случае найти в результатах поиска Google.я объяснил воронку Google (бот) более подробно здесь страницы, не проиндексированные Google
правильный заголовок статуса HTTP и тег x-robot лучше подходят, чтобы убедиться, что URL-адрес делаетне отображаются в Google (но оба бесполезны, если директива robots.txt остается на месте)