Не позволяйте Google сканировать мои сайты

Question

Есть ли способ скрыть мой сайт drupal от googlebots?Я не хочу, чтобы мой сайт отображался в поисковых системах, пока он еще находится в стадии разработки.

Answer 1

Использовать robots.txt .

Answer 2

Используйте robots.txt для блокировки поисковых систем ...

Но!

Вам необходимо рассмотреть возможность развития своего сайта вне реального домена. Когда вы начнете жить, как вы собираетесь разрабатывать улучшения для вашего сайта? Вам нужна среда разработки сейчас.

Кроме того, вы можете создать свои входящие ссылки и рейтинг в поисковых системах, прежде чем запустить свой сайт. Запрет индексирования вашего сайта Google до тех пор, пока вы не начнете работать, остановит это.

Я бы предложил разместить целевую страницу на вашем основном домене, с сообщениями, отражающими цель вашего сайта, и возможностью, возможно, «зарегистрировать интерес» на сайте. Это позволит вам получить ваше доменное имя там.

Запуск нового сайта почти всегда будет происходить с громовой тишиной. Получение рейтинга вашего домена перед запуском - очень полезное занятие.

Answer 3

Создайте файл, содержащий следующее, в базовом каталоге вашего веб-сервера с именем robots.txt

User-agent: *
Disallow: /

Answer 4

Еще один вариант - добавить что-то подобное в вас .htaccess

Order Deny,Allow
Deny From all
Allow From 1.2.3.4

и просто использовать свой IP-адрес или несколько IP-адресов, если на сайте работает несколько удаленных местоположений.*

Но я делаю второй комментарий о разработке вне основного домена.Получите учетную запись VPS, разместите сайт-заставку в главном домене с помощью виртуального хоста, создайте для него поддомен и виртуальный хост (и защитите его, как показано выше) и используйте его для разработки.

Answer 5

Используйте файл robots.txt, например:

User-agent: *
Disallow: <directory you want to hide>

Вы можете разрешить поиск некоторых каталогов, если хотите или вообще не используете, используя Disallow: /

Больше информации на robotstxt.org: -)

Dave

Answer 6

Требуется логин. Я не думаю, что бот Google войдет в систему ...