У меня есть страница входа (login.aspx), которая в настоящее время индексируется в Google, когда...
У меня есть URL-адрес, на который я хотел бы запретить поисковым системам переходить: Допустимо ли...
Я пишу прокси-сервер, который отображает youtube.com на другой домен (чтобы пользователи могли...
Некоторые серверы имеют файл robots.txt, чтобы запретить сканерам обходить свои сайты. Есть ли...
Есть ли параметр, который я могу переключить, или DownloaderMiddleware, который я могу использовать...
Привет, сообщество. В последние дни я работал над внедрением opensocial в liferay, но, поскольку я...
У меня есть страница панели управления пользователями, которую я не хочу, чтобы поисковая система...
Я пытаюсь прочитать текстовый файл и сохранить его в NSArray.вот мой код, но, кажется, чего-то не...
Я установил поисковик Sphider 1.3.5 на сайт, который я разрабатываю.Я работаю на общедоступном...
Допустим, у меня есть это: <script type="text/javascript"> var p = document
Недавно мы добавили новый раздел на нашу веб-страницу. По сути, это каталог товаров для покупок,...
У меня есть вопросы, касающиеся SEO, Robots.txt и wordpress Вот как выглядит мой robots.txt:...
Как блокировать роботов поисковых систем на сайте Google App Engine? Есть ли процедура admin /...
Документ об исключении роботов гласит: Он не применяется никем, и нет никаких гарантий, что все...
Я создаю файл robots.txt для своего веб-сайта, но просматривая структуру своего проекта, я не...
Вот мой код для .htaccess RewriteEngine on RewriteRule (.*) index.html Проблема: при посещении...
Я пытался спросить об этом раньше, и я все еще не получил рабочий ответ на вопрос, поэтому я...
Например, у меня есть следующая ссылка: http://broodds.com/index.php/en/component/bet/
Мы можем указать роботам сканировать или не сканировать наш веб-сайт в файле robot.txt.С другой...
Вот пример RewriteRule из моего файла .htaccess: RewriteRule ^ABC$ index.php
Отвечают ли боты Facebook, выполняющие веб-сканирование, директиве Crawl-delay: в robots.txt файлах
Это правильный способ сделать это - ниже приведен мой текстовый файл, это помешает Google...
Может ли кто-нибудь объяснить правильную команду robots.txt для следующего сценария. Я хотел бы...
Я могу использовать robots.txt, чтобы остановить индексацию папок с изображениями / html-файлами.Но...
Я пытаюсь выяснить, будет ли файл robots.txt, заданный в домене A, по-прежнему применяться к...