Могу ли я запретить поисковым системам индексировать весь каталог на моем сайте?

Question

У меня есть промежуточный сайт, который я использую для черчения новых функций, изменений и контента на моем реальном веб-сайте.

Я не хочу, чтобы это индексировалось, но я немного надеюсь на решениеэто проще, чем добавлять нижеприведенное ниже на каждую страницу моего сайта:

<meta name="robots" content="noindex, nofollow">

Могу ли я сделать это так, как я добавил пароль к домену с помощью файла .htaccess?

Answer 1

Для этого предназначен стандарт robots.txt .Пример

User-agent: *
Disallow: /protected-directory/

Поисковые системы будут подчиняться этому, но, конечно, контент все равно будет опубликован (и, вероятно, его будет легче обнаружить, если вы поместите URL-адрес в robots.txt), поэтому защита паролем через .htaccessвариант тоже.

Answer 2

Вам нужен файл robots.txt

Файл должен находиться в корневом каталоге вашего сервера, а содержимое должно быть примерно таким:

User-agent: *
Disallow: /mybetasite/

Это будет вежливо просить службы индексирования поиска не индексировать страницы в этом каталоге, что все уважающие себя поисковые системы будут уважать.

Answer 3

Действительно, robots.txt в корне сайта - это путь. Чтобы добавить несколько записей (как предлагает ОП), выполните следующие действия:

User-agent: *
Disallow: /test_directory_aaa/
Disallow: /test_directory_bbb/
Disallow: /test_directory_ccc/

---

Или по маршруту .htpasswd:

В .htaccess добавьте:

AuthType Basic
AuthName "Marty's test directory"
AuthUserFile /test_directory_aaa/.htpasswd
AuthUserFile /test_directory_bbb/.htpasswd
AuthUserFile /test_directory_ccc/.htpasswd
require valid-user

В .htpasswd добавить:

username1:s0M3md5H4sh1
username2:s0M3md5H4sh2
username3:s0M3md5H4sh3

Answer 4

Поместите следующий код в robot.txt, который должен находиться в корневом каталоге, чтобы запретить индексацию всего сайта.

User-agent: *
Disallow: /

Answer 5

Создайте файл с именем Robots.txt в вашем каталоге public_html.

Вставьте в него следующий код:

    User-agent: * 
    Disallow: /foldername/

имя_фолдера - это имя каталога, который вы хотите заблокировать

Answer 6

Block Specific File for SEO: Чтобы указать соответствие конца URL, используйте $.Например, чтобы заблокировать любые URL, заканчивающиеся на .xls:

User-agent: * Disallow: /*.xls$

Ref: http://antezeta.com/news/avoid-search-engine-indexing

http://support.google.com/webmasters/bin/answer.py?hl=en&answer=156449&topic=1724262&ctx=topic