В моем файле .htaccess у меня есть: <Files ~ "\.(tpl|txt)$"> Order deny,allow Deny...
Меня беспокоит совпадение между правилом * и правилом Yandex. User-agent: * Allow: / User-agent:...
У меня есть небольшой сайт magento, который состоит из URL страниц, таких как: http://www.mysite
Мне нужно запретить пользователям доступ к файлу robots.txt на моем сайте.Я не уверен, что если я...
Любые изменения robots.txt, применяемые внутри VS2010, сохраняют файл с спецификацией, в результате...
Как создать действительный файл robots.txt, который блокирует все запросы программы-обходчика, за...
Почти все страницы моих веб-сайтов доступны пользователям, и если они не являются пользователями и...
Как я могу запретить поисковым системам индексировать страницы с 3 или более пробелами в пути
В файле robots.txt можно было бы использовать относительный путь вместо абсолютного для указания...
Я ищу синтаксический анализатор robots.txt в Java, который поддерживает те же правила сопоставления...
Я не могу заставить это работать, но это кажется очень простым. Я хочу, чтобы корневой домен...
Я смотрю на файл robots.txt сайта. Я хотел бы сделать один раз , и есть такая строка: User-agent:...
Является ли noindex необязательной директивой в файле robots.txt или единственными параметрами...
Я занимаюсь разработкой приложения для веб-форм asp.net (4.0) и использую маршрутизацию для всех...
Я хочу запретить любые файлы в любой папке / tmp на моем сайте. например У меня есть:...
Мы хотим запретить пользовательским агентам файлы JavaScript, CSS-файлы и картинки, верно? Классы,...
Допустим, я опубликовал несколько постов WordPress со следующими URL-адресами: http://example
User-agent: * Disallow: Disallow: /admin Disallow: /admin Sitemap: http://www.myadress
Я хотел бы знать, запрещает ли этот код каждой поисковой системе сканировать мой каталог....
Как мне защитить и скрыть папку / adminblah / от роботов и пользователей, чтобы только...
У меня простой вопрос.Допустим, у меня есть это в robots.txt: User-agent: * Disallow: / И как-то...
У нас есть сайты DEV / QA / Prod следующим образом: dev: something.dev.org qa: something-qa.dev
Я работаю на простого бота для проекта и заметил, что на многих сайтах нет файлов sitemaps в их...
Это хорошая идея ?? http://browsers.garykeith.com/stream.asp?RobotsTXT Что означает оскорбительное...
Добрый день, Я провел некоторое исследование в поисках этого ответа, но мне не повезло.Надеюсь, что...