как полностью скрыть сайт от поисковых систем?

Question

Каков наилучший рекомендуемый способ скрытия моего промежуточного веб-сайта от поисковых систем, я прогуглил его и нашел, что некоторые говорят, что я должен поместить метатег, а некоторые сказали, что я должен поместить текстовый файл в каталог моего сайта, я хочу знать стандартным способом.

мой текущий веб-сайт находится на asp.net, хотя я считаю, что он должен быть обычным способом для любого веб-сайта независимо от языка программирования.

Answer 1

Используйте файл robots.txt.

см. Здесь http://www.robotstxt.org/robotstxt.html

Answer 2

Вы также можете использовать свои серверы robots.txt:

User-agent: *
Disallow: /

Сканер Google фактически учитывает эти настройки.

Answer 3

действительно простой ответ; защитить его паролем. Если это промежуточный сайт, то, скорее всего, он не предназначен для публичного просмотра (только частная аудитория). Попытка не допустить его в поисковые системы - это лечение симптома только тогда, когда реальная проблема заключается в том, что вы не обеспечили его надлежащую защиту.

Answer 4

Имейте в виду, что вы не можете скрыть публичный незащищенный веб-сайт от поисковой системы. Вы можете попросить, чтобы боты не индексировали его (через robots.txt, который подняли мои замечательные коллеги), и люди, которые пишут ботов, могут решить не индексировать ваш сайт на основе этого, но должен быть хотя бы один парень там, кто индексирует все, что люди просят его не индексировать. По крайней мере, один.

Если это большое требование, исключая автоматические сканеры, какое-то решение CAPCHA может работать для вас.

Answer 5

http://www.robotstxt.org/robotstxt.html

Answer 6

Как лучше всего скрывать мой промежуточный сайт от поисковых систем

Просто: не делайте это публичным. Если это не сработает, то сделайте его общедоступным достаточно долго, чтобы убедиться, что оно готово к публикации в прямом эфире, а затем отключите его.

Однако из всего сказанного более фундаментальный вопрос: «Зачем это нужно?». Если промежуточный сайт действительно должен быть живым сайтом за один шаг до его запуска, то не должно иметь значения, проиндексирован ли он.

Answer 7

Существуют поисковые системы / службы маркировки книг, которые не используют robots.txt. Если вы действительно не хотите, чтобы он появился, я бы предложил использовать капчи просто для перехода на сайт.