URL кота и robots.txt - PullRequest
       17

URL кота и robots.txt

0 голосов
/ 03 марта 2012

Если у меня есть веб-служба / приложение в Tomcat, нужно ли мне беспокоиться о механизме, подобном robots.txt, который не позволяет поисковым системам троллить tomcat?Я просто хочу запретить Google и другим индексировать что-либо в tomcat ... Сейчас я работаю над небольшим проектом, сервер доступен через статический ip и имя домена, и в настоящее время у меня нет аутентификации для tomcatматериал, хотя это будет сделано в ближайшее время.Если вам нужно будет просто ввести доменное имя или IP-адрес сервера, вы получите простую «пустую» страницу в IIS ... это только когда вы знаете, и введите имя подкаталога tomcat (который является проводнымв IIS, используя Джакарту), приложение tomcat становится видимым и отображается в браузере.

Должен ли я беспокоиться об этом?Можно подумать, что, поскольку Google не может достичь первоначального URL-адреса tomcat, если он не знает его заранее, ему нечего «кормить»?

1 Ответ

1 голос
/ 04 марта 2012

Если бы в сети не было ссылок на ваши страницы Tomcat, я бы об этом не беспокоился.

Подумайте об этом с точки зрения Google - как бы вы реализовали такую ​​вещь?Начать с любого заданного URL и перебрать все возможные пути?Я был бы очень удивлен, если бы Google был таким мощным.

Этот тип контента даже имеет имя, Невидимая сеть .

...